- 博客(1)
- 资源 (1)
- 收藏
- 关注
转载 hive优化 map+reduce+split
一、 控制hive任务中的map数: 1. 通常情况下,作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有: input的文件总个数,input的文件大小,集群设置的文件块大小(目前为128M, 可在hive中通过setdfs.block.size;命令查看到,该参数不能自定义修改); 2. 举例: a) 假设input目录下有1个文件a
2014-04-25 15:05:40 552
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人