![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
文章平均质量分 71
BigDataToAI
分享大数据经验
展开
-
Flink与Spark读写parquet文件全解析
Parquet介绍Parquet 是一种开源文件格式,用于处理扁平列式存储数据格式,可供 Hadoop 生态系统中的任何项目使用。 Parquet 可以很好地处理大量复杂数据。它以其高性能的数据压缩和处理各种编码类型的能力而闻名。与基于行的文件(如 CSV 或 TSV 文件)相比,Apache Parquet 旨在实现高效且高性能的平面列式数据存储格式。Parquet 使用记录粉碎和组装算法,该算法优于嵌套命名空间的简单展平。 Parquet 经过优化,可以批量处理复杂数据,并具有不同的方式来实现高效的原创 2022-01-26 09:46:37 · 3300 阅读 · 6 评论 -
spark SQL配置连接Hive Metastore 3.1.2
Hive Metastore作为元数据管理中心,支持多种计算引擎的读取操作,例如Flink、Presto、Spark等。本文讲述通过spark SQL配置连接Hive Metastore,并以3.1.2版本为例。通过Spark连接Hive Metastore,需要准备如下文件:hive-site.xmlapache-hive-3.1.2-binspark-3.0.3-bin-hadoop3.2在完成下述操作之前,当然首先需要安装并启动hive standalone metastore,并将hi原创 2022-01-09 16:34:22 · 3381 阅读 · 0 评论