- 博客(2)
- 收藏
- 关注
RSS订阅转载 Kylin Cube构建引擎原理及核心源码解析
转自：https://blog.csdn.net/c929833623lvcha/article/details/81664602
2019-09-25 14:23:00
225
原创 hive解决小文件过多的问题--[常用策略]
哪里会产生小文件 ?源数据本身有很多小文件动态分区会产生大量小文件reduce个数越多, 小文件越多按分区插入数据的时候会产生大量的小文件, 文件个数 = maptask个数 * 分区数小文件太多造成的影响 ?从Hive的角度看，小文件会开很多map，一个map开一个JVM去执行，所以这些任务的初始化，启动，执行会浪费大量的资源，严重影响性能。HDFS存储太多小文件, 会导致na...
2019-09-06 11:26:14
770
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人