hadoop源码编译、配置安装、测试

一、 hadoop架构简介

Hadoop 是一个在大数据领域应用最广泛的、稳定可靠的、可扩展的用于分布式并行计算的开源软件。Hadoop 使用简洁的 MapReduce 编程模型来分布式的处理跨集群的大型数据集，集群规模可以扩展到几千甚至几万。相比于依赖昂贵的 硬件来实现高可用性，Hadoop是在假设每台机器都会出错的情况下，从软件层面来实现错误的检测和处理。Hadoop 集群服务包含：HDFS 分布式文件系统、Yarn 任务调度和集群资源管理系统以及 MapReduce 并行分析计算系统。关于Hadoop 更多的详细信息，可参阅 Hadoop 官方网站 。

Hadoop 集群采用的是 master/slave 架构。 如下图所示，Hadoop 集群分三种节点类型：主节点 (Yarn Resource Manager 和 HDFS Name Node)，从节点 (Yarn Node Manager 和 HDFS Data Node) 和客户端节点 (Hadoop Client Node)。 用户在客户端节点发起Map Reduce 任务，通过与 HDFS 和 Yarn 集群中各节点的交互存取文件和执行 MapReduce 任务，获取结果。

二、 hadoop源码编译

1. java安装配置

$ sudo yum -y install java
$ vim /etc/profile
export JAVA_HOME=/usr/lib/java
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH

2. maven安装配置

$ cat ~/.m2/settings.xml
<settings>
    <mirrors>
        <mirror>
            <id>alimaven</id>
            <name>aliyun maven</name>
            <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
            <mirrorOf>central</mirrorOf>
        </mirror>
    </mirrors>
</settings>

3. protobuf安装配置

$ tar -xzvf protobuf-2.5.0.tar.gz
$ cd  protobuf-2.5.0
$ ./configure
$ make
$ make install
$ protoc --version
libprotoc 2.5.0

4. 其他依赖软件安装配置