Hive
文章平均质量分 70
Hive
xingyuelhb
我家娃可爱不,哇咔咔!!!
展开
-
hive.exec.orc.default.stripe.size相关
1)因此在适当增大hive.exec.orc.default.stripe.size, "256*1024*1024"的值可提高效率,就像适当提高blocksize也可以加快效率原理类似.也就是对应的default设置值:hive.exec.orc.default.stripe.size, "256*1024*1024 " stripe的默认大小。适当加大hive.exec.orc.default.stripe.size配置,以及在orc表比较大的情况下使用BI策略可有效提高效率,原创 2023-12-26 09:52:12 · 682 阅读 · 1 评论 -
Spark Executor GC负载高
spark.driver.memory参数 向大调整(注意cgroup值也做相应调整)spark.dynamicAllocation.maxExecutors参数向大调整。spark.sql.shuffle.partitions 参数向大调整。如spark.executor.memory 参数一般向大调整。spark.driver.memory=$[目前值]*1.5。spark.driver.cores=$[目前值]*1.5。spark.executor.cores参数向小调整。1.调整内存相关的参数。原创 2023-11-27 19:47:54 · 161 阅读 · 0 评论 -
Spark Driver GC负载高
spark.driver.memory=$[目前值]*1.5。spark.driver.cores=$[目前值]*1.5。1.调整内存相关的参数。原创 2023-11-27 18:56:34 · 558 阅读 · 0 评论