spark之parquet

最新推荐文章于 2024-03-04 20:27:22 发布

卢子墨

最新推荐文章于 2024-03-04 20:27:22 发布

阅读量801

点赞数

分类专栏： Spark原理、实战、总结文章标签： parquet

本文链接：https://blog.csdn.net/lukabruce/article/details/101756933

版权

Spark原理、实战、总结专栏收录该内容

56 篇文章 4 订阅 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

Parquet作为列式存储布局，能加速查询，只读取必要列并进行计算，减少数据读取量。它支持灵活压缩，降低存储占用。通过Spark直接读取Parquet文件可转化为DataFrame，由于其丰富信息，建议将其他格式数据清洗后转为Parquet。

摘要由CSDN通过智能技术生成

列式存储布局（比如 Parquet）可以加速查询，因为它只检查所有需要的列并对它们的值执行计算，因此只读取一个数据文件或表的小部分数据。Parquet 还支持灵活的压缩选项，因此可以显著减少磁盘上的存储。

可以直接read一个parquet文件，就转成了dataframe。因为parquet文件里有比较丰富的信息，不像普通的文件。所以推荐是把其他文件的格式，清洗后转换成parquet数据格式。

//读取实例中的json文件
val jsonPeopleDF = spark.read.json("/usr/local/Cellar/spark-2.3.0/examples/src/main/resources/people.json")

//将json格式转化为parquet文件
 jsonPeopleDF.write.parquet("/Users/walle/Documents/D3/d1.parquet")

//将转换好的parquet文件转化为dataframe
val d1DF = spark.read.parquet("file:///Users/walle/Documents/D3/d1.parquet")
d1DF.show