Spark Sql

1.开启hadoop进程

jps  
cd /apps/hadoop/sbin  
./start-all.sh  

2.下载一个json数据文件

2.1将文件上传到hdfs上

3.启动spark-shell

4.读取HDFS中/myspark6的goods_visit.json文件。

val df=sqlContext.read.json("hdfs://localhost:9000/myspark6/goods_visit.json")

5.查看goods_visit.json中的所有数据。

df.show()  

6.查看goods_visit.json的表结构。

df.printSchema()  

7.只查看商品ID(goods_id)。

df.select("goods_id").show()  

8.统计文件行数。

df.count  

9条件查询，查询点击次数超过500商品。(show是返回字段和表数据，collect是返回集合)

df.filter(df("click_num")>500).show  

10.统计点击次数的最值、总和及平均数。

df.agg(max("click_num"),sum("click_num"),min("click_num"),avg("click_num")).show  

11.过滤点击次数小于200的商品。

df.filter(df("click_num") < 200).show()  

12.按点击次数进行分组统计。

df.groupBy("click_num").count().show()  

13.读取goods_visit.json文件，保存为parquet格式。

val df = sqlContext.read.format("json").load("hdfs://localhost:9000/myspark6/goods_visit.json")  
df.select("goods_id", "click_num").write.format("parquet").save("goods_visit.parquet")

14.查看保存的goods_visit.parquet文件。

hadoop fs -ls /user/zhangyu