- 博客(2)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 “ WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using built”
Hadoop集群部署完成后，经常会提示： WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin问题分析：系统位数的原因解决办法：1、下载hadoop-native-64-2.4.0.tar：http://dl.bintray.
2018-01-21 19:12:18
259
原创 Map/ReduceTask 运行过程
1 Map TaskMap Task整体计算流程，共分为5个阶段：1）Read阶段：通过RecordReader将对应的InputSplit解析出一系列的key/value 2）Map阶段：将解析出的key/value依次交给用户编写的map()函数处理，并产生一系列新的key/value3）Collect阶段：在map()中，当数据处理完成后，一般会调用OutputCollect
2016-09-18 17:22:16
445
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人