1.开启hadoop进程
jps
cd /apps/hadoop/sbin
./start-all.sh
2.下载一个json数据文件
2.1将文件上传到hdfs上
3.启动spark-shell
4.读取HDFS中/myspark6的goods_visit.json文件。
val df=sqlContext.read.json("hdfs://localhost:9000/myspark6/goods_visit.json")
5.查看goods_visit.json中的所有数据。
df.show()
6.查看goods_visit.json的表结构。
df.printSchema()
7.只查看商品ID(goods_id)。
df.select("goods_id").show()
8.统计文件行数。
df.count
9条件查询,查询点击次数超过500商品。(show是返回字段和表数据,collect是返回集合)
df.filter(df("click_num")>500).show
10.统计点击次数的最值、总和及平均数。
df.agg(max("click_num"),sum("click_num"),min("click_num"),avg("click_num")).show
11.过滤点击次数小于200的商品。
df.filter(df("click_num") < 200).show()
12.按点击次数进行分组统计。
df.groupBy("click_num").count().show()
13.读取goods_visit.json文件,保存为parquet格式。
val df = sqlContext.read.format("json").load("hdfs://localhost:9000/myspark6/goods_visit.json")
df.select("goods_id", "click_num").write.format("parquet").save("goods_visit.parquet")
14.查看保存的goods_visit.parquet文件。
hadoop fs -ls /user/zhangyu