- 博客(2)
- 收藏
- 关注
RSS订阅原创 hadoop-2.2.0 升级 2.6.0
hadoop-2.2.0 升级 2.6.0 hadoop-2.2.0 准备 通过一次全面的fsck检查现有系统是否健康，并可记录下fsck的输出信息，用于升级后的对比。./bin/hadoop fsck / -files -blocks -locations > dfs-v-old-fsck-1.log./bin/hadoop dfs -lsr / > dfs-v-ol...
2015-12-24 14:31:19
156
原创 Hadoop中CombineFileInputFormat详解
转http://blog.csdn.net/wawmg/article/details/17095125 在MR实践中，会有很多小文件，单个文件产生一个mapper，资源比较浪费，后续没有reduce逻辑的话，会产生很多小文件，文件数量暴涨，对后续的hive job产生影响。 所以需要在mapper中将多个文件合成一个split作为输入，CombineFileInputForm...
2015-12-03 21:21:39
247
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人