数仓工具—Hive进阶之优化小文件问题(11)

小文件问题

读者交流群已经开通了,有需要的可以私信进入读者交流群

  1. 小文件在HDFS中存储本身就会占用过多的内存空间,这是因为每个文件都有元数据存储在内存中,给namenode内存中fsImage的合并造成压力,如果namenode内存使用完了,这个集群将不能再存储文件了;
  2. 对于MR查询过程中过多的小文件又会造成启动过多的Mapper Task, 每个Mapper都是一个后台线程,会占用JVM的空间
  3. 即使map阶段都设置了小文件合并,org.apache.hadoop.hive.ql.io.CombineHiveInputFormat,太多小文件导致合并时间较长,查询缓慢;

案例

最近发现离线任务对一个增量Hive表的查询越来越慢,这引起了我的注意,我在cmd窗口手动执行count操作查询发现,速度确实很慢,才不到五千万的数据,居然需要300s,这显然是有问题的,我推测可能是有小文件。

我去hdfs目录查看了一下该目录:

图片

发现确实有很多小文件,有480个小文件,我觉得我找到了问题所在,那么合并一下小文件吧:

insert into test select * from tabl
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
针对电商数仓Hive优化,可以从以下几个方面入手: 1. 数据分区:对于大规模数据的查询,使用分区表可以大幅度提高查询效率。可以按照日期、地域等维度进行分区。 2. 压缩存储:在Hive中,使用压缩存储可以减小数据的存储空间,同时也能提高查询效率。可以使用Gzip、Bzip2、Snappy等压缩方式。 3. 数据倾斜处理:在实际场景中,可能会出现某些字段的值非常集中,导致查询时某些节点负载过重,出现数据倾斜。可以采用一些技术手段,如随机数、哈希函数等进行数据均衡。 4. 动态分区:动态分区可以在查询的同时动态创建分区,避免手动创建分区的麻烦。 5. 合理设置参数:Hive的性能与参数设置密切相关,如MapReduce任务并行度、内存大小、IO缓存等。合理设置这些参数可以提高查询效率。 具体的优化参数包括: - hive.exec.dynamic.partition.mode:设置动态分区模式,可以设置为nonstrict或strict。 - hive.exec.dynamic.partition:是否允许动态分区,默认为true。 - hive.exec.max.dynamic.partitions:设置动态分区最大值。 - hive.exec.max.dynamic.partitions.pernode:每个节点的最大动态分区数。 - hive.auto.convert.join:是否开启自动转换Join,可以提高Join的效率。 - hive.optimize.bucketmapjoin.sortedmerge:是否开启Bucket Map Join Sorted Merge。 - hive.exec.parallel:设置MapReduce任务并行度。 - hive.vectorized.execution.enabled:是否开启矢量化查询。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

不二人生

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值