Hive Sql 迁移到 Spark Sql 问题集合

最新推荐文章于 2024-12-11 08:06:07 发布

阿武z

最新推荐文章于 2024-12-11 08:06:07 发布

阅读量2k

点赞数 2

分类专栏： Spark

本文链接：https://blog.csdn.net/xw514124202/article/details/103572354

版权

本文总结了从Hive SQL迁移到Spark SQL时遇到的问题，包括合并小文件、ES外部表格式不一致、元数据更新、jar包丢失、rand函数使用、字段别名、内存溢出、字段类型过滤、create external表语句差异、decimal精度差异、程序启动过多、笛卡尔积以及BroadcastJoin等，并提供了相应的解决策略。

摘要由CSDN通过智能技术生成

合并小文件

spark sql 默认的 shuffle分区数是200 （spark.sql.shuffle.partitions）因此产生的小文件是很多的。
合并小文件方法：

1、设置合并文件参数
- spark.sql.adaptive.enabled=true
- spark.sql.adaptive.shuffle.targetPostShuffleInputSize
2、Spark 2.4 使用HINT
- INSERT … SELECT / * + COALESCE（numPartitions）* / …
- INSERT … SELECT / * + REPARTITION（numPartitions）* / …
3、distribute by
- distribute by 分区字段
- distribute by 分区字段, cast(rand() * N as int)
- distribute by cast(rand() * N as int)

1、ES外部表格式不同

hive

# hive
ADD JAR elasticsearch-hadoop-6.0.0.jar;

create external table db_name.table_name (
    ...
) STORED BY 'org.elasticsearch.hadoop.hive.EsStorageHandler'
TBLPROPERTIES(
    'es.resource' = '',