该博客介绍了如何使用Spark将数据以Parquet格式进行压缩存储，并详细讲解了读取Parquet文件的过程，展示了在处理大规模数据时的有效存储策略。
/tmp/dj/20170622.1498060818603为json数据
将数据压缩存储成parquet
val logs = spark.read.json("/tmp/dj/20170622.1498060818603")
//logs.coalesce(2).write.option("compression","gzip").json("/tmp/dj/json2")
logs.coalesce(2).write.parquet("/tmp/dj/parquet2")读取parquet文件
val logs1 = spark.read.parquet("/tmp/dj/parquet2/*")
//now logs1 is DataFrame with some fields of previous json field 
1036
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
