Spark SQL

//创建了一个数据集，实现了并行化
val seq= Seq((“1”,“xiaoming”,15),(“2”,“xiaohong”,20),(“3”,“xiaobi”,10))

val rdd1 = sc.parallelize(seq)

// 将当前的rdd对象转换为DataFrame对象(数据信息和数据结构信息存储到DataFrame)
//_1:string,_2:string,3:int
//在使用toDF进行转换的时候，空参的情况下。默认是+数据 作为列名，数字从1开始逐渐递增
rdd1.toDF
val df = rdd1.toDF(“id”,“name”,“age”)
// 查询
df.select("name").show
df.select("name","age").show
//条件过滤
df.select("name","age").filter("age >10").show
//参数必须是一个字符串，filter中的表达式也需要时一个字符串
// 查询年龄大于10的
df.select("name","age").filter(col("age") >10).show
// 分组统计个数
df.groupBy("age").count().show()
// 查看数据结构
df.printSchema