如果是使用sparksql的话,我们需要创建SQLContext的上下问,可以传入conf对象,或者 sparkContext对象
读取json文件创建一个DataFram
sqlContext.read.json(“json文件名”).
使用json文件创建datafram时他会直接解析json中的格式,将json中每一条记录里面的key作为了scheme,我们可以直接使用sparkSQL来查看datafram中的数据
df.select(“name”).show
查看scheme:df.printSchema()
查看datafram中的数据: df.show() 默认显示20条记录,如果想多显示的话,需要往里面传入一个参数
想要使用SQL语句来操作datafram的话,需要将datafram注册成一张临时表,这个临时表中是没有数据的,相当于只是将注册的临时表指向了datafram了
df.registerTempTable(“table1”)
sql 语句的val sqlText=”select age ,count(0) from table1 group by age”;
执行SQL语句使用:SQLContext.sql(sqlText)
datafram转变成RDD:val rdd1=df.rdd()
sparkSql 中的dataFram的使用 通过json文件创建DataFrame
最新推荐文章于 2024-01-29 08:00:00 发布