Spark 2.2.1 Parquet文件处理的案例与解读

最新推荐文章于 2024-08-13 14:34:38 发布

段智华

最新推荐文章于 2024-08-13 14:34:38 发布

阅读量4.8k

点赞数

分类专栏： AI & Big Data案例实战课程文章标签： spark 2.2.1

热烈祝贺Gavin大咖2024年北京航空航天大学两本新书《Transformer&ChatGPT解密：原理、源码及案例》、《Transformer& Rasa 解密: 原理、源码及案例》出版发行

本文链接：https://blog.csdn.net/duan_zhihua/article/details/79334024

版权

AI & Big Data案例实战课程专栏收录该内容

167 篇文章 337 订阅 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了Spark 2.2.1中处理Parquet文件的案例，包括加载数据、分区发现和合并Schema。在分区发现部分，解释了如何自动推导分区信息。在合并Schema部分，展示了如何处理不同Schema的Parquet文件并自动合并。文章还提到了数据存储位置和默认路径的规则。

摘要由CSDN通过智能技术生成

Spark 2.2.1 Parquet文件处理的案例与解读

(一) 加载数据

加载Parquet数据源，并将加载后的people使用createOrReplaceTempView方法注册到临时表中，然后使用SQL语句对该临时表进行操作，最后将操作结果打印出来。

scala> valpeople =spark.read.parquet("/resources/people.parquet")

18/02/18 08:51:40WARN metastore.ObjectStore: Failed to get database global_temp, returningNoSuchObjectException

people:org.apache.spark.sql.DataFrame = [age: bigint, name: string]

 

scala>people.createOrReplaceTempView("parquetFile")

 

scala> valteenagers = spark.sql("SELECT name FROM parquetFile WHERE age >= 13 ANDage <= 19")

teenagers:org.apache.spark.sql.DataFrame = [name: