之前写的程序中,有些API在Spark SQLContext没有,我计算的结果先保存在rdd中,最后在使用RDD转换成dataframe进行保存,话不多说下面是代码.
//一个StruceField你可以把它当成一个特征列。分别用列的名称和数据类型初始化
val structFields = List(StructField("age",DoubleType),StructField("height",DoubleType))
//最后通过StructField的集合来初始化表的模式。
val types = StructType(structFields)
val sparkConf = new SparkConf().setAppName("RDDToDataFrame").setMaster("local")
val sparkContext = new SparkContext(sparkConf)
val sqlContext = new SQLContext(sparkContext)
val rdd = sparkContext.textFile(