- 博客(2)
- 收藏
- 关注
原创 hadoop-2.2.0 升级 2.6.0
hadoop-2.2.0 升级 2.6.0 hadoop-2.2.0 准备 通过一次全面的fsck检查现有系统是否健康,并可记录下fsck的输出信息,用于升级后的对比。./bin/hadoop fsck / -files -blocks -locations > dfs-v-old-fsck-1.log./bin/hadoop dfs -lsr / > dfs-v-ol...
2015-12-24 14:31:19 156
原创 Hadoop中CombineFileInputFormat详解
转http://blog.csdn.net/wawmg/article/details/17095125 在MR实践中,会有很多小文件,单个文件产生一个mapper,资源比较浪费,后续没有reduce逻辑的话,会产生很多小文件,文件数量暴涨,对后续的hive job产生影响。 所以需要在mapper中将多个文件合成一个split作为输入,CombineFileInputForm...
2015-12-03 21:21:39 247
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人