yumi6666的博客

0、事前准备。0.1    完成HADOOP的集群安装，完成HDFS的配置和初始化。（具体请参考https://blog.csdn.net/yumi6666/article/details/81735638）0.2    配置好Linux或Win环境下的Java开发环境。本文环境为WIN10 + Java1.8 + Eclipse。（具体参考https://blog.csdn....

Hadoop2.4.0  重新编译 64  位本地库环境：虚拟机 VirtualBox，操作系统 64 位 CentOS 6.4 下载重新编译需要的软件包apache-ant-1.9.4-bin.tar.gzfindbugs-3.0.0.tar.gzprotobuf-2.5.0.tar.gzapache-maven-3.0.5-bin.tar.gz下载 hadoop2.4.0 的...

1、mapTask并行度的决定机制一个job的map阶段并行度由客户端在提交job时决定而客户端对map阶段并行度的规划的基本逻辑为：将待处理数据执行逻辑切片（即按照一个特定切片大小，将待处理数据划分成逻辑上的多个split），然后每一个split分配一个mapTask并行实例处理 这段逻辑及形成的切片规划描述文件，由FileInputFormat实现类的getSplits()...