weixin_50589661的博客

原创 Hive 将数据插入hive动态分区表或hdfs动态分区目录的优化 distribute by分区排序的应用

将数据插入动态分区可能会导致短时间内（map任务）产生大量的分区（大于分区列的值去重后的数量），导致资源消耗过大，因此 3个用于保护自己的参数。Dynamic partition insert could potentially be a resource hog in that it could generate a large number of partitions in a short time. To get yourself buckled, we define three paramete