hive优化之调整mapreduce数目
一、调整hive作业中的map数1.通常情况下,作业会通过input的目录产生一个或者多个map任务。主要的决定因素有: input的文件总个数,input的文件大小,集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到,该参数不能自定义修改);2.举例:a)假设input目录下有1个文件a,大小为780M,那么hadoop会将该...
转载
2019-12-26 20:26:54 ·
332 阅读 ·
0 评论