CentOS 6.5中Hadoop 2.7.2安装配置

1. 下载资源

• 最新版JDK 1.8.0_92
• 最新版Hadoop安装包

2. 配置环境

2.1 JDK

2.1.1 安装

我们下载的是rpm包，所以这里直接安装：

 
 
rpm -ivh jdk1.8.0_92.rpm

2.1.2 环境变量配置

修改/etc/profile文件，也可以修改其他影响环境变量的文件

 
 
export JAVA_HOME=/usr/java/jdk1.8.0_92
export JRE_HOME=$JAVA_HOME/jre
export CLASS_PATH=.:$CLASS_PATH:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

2.2 下载安装Hadoop

将下载的hadoop安装包放到/opt目录下，解压出来：

 
 
tar xvzf hadoop-2.7.2.tar.gz ; rm -f hadoop-2.7.2.tar.gz 

配置环境变量，修改/etc/profile

 
 
export HADOOP_HOME=/opt/hadoop-2.7.2
# 修改以下行
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin

3. 配置Hadoop

3.1 修改以下四个配置文件：

修改etc/hadoop/hadoop-env.sh

 
 
# 明确指定JDK路径
export JAVA_HOME=/usr/java/jdk1.8.0_92

修改etc/hadoop/core-site.xml

 
 
<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/hadoop</value>
    </property>
    <property>
        <name>dfs.name.dir</name>
        <value>/hadoop/name</value>
    </property>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://centos:9000</value>
    </property>
</configuration>

注： 
其中centos是我本机的hostname，需要在/etc/hosts中明确指定127.0.0.1或::1映射到这个hostname

修改etc/hadoop/hdfs-site.xml

 
 
<configuration>
    <property>
        <name>dfs.data.dir</name>
        <value>/hadoop/data</value>
    </property>
</configuration>

修改etc/hadoop/mapred-site.xml

 
 
<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>centos:9001</value>
    </property>
</configuration>

3.2 初始化

执行命令对Hadoop进行格式化

 
 
hadoop namenode -format

3.3 启动Hadoop

 
 
sbin/start-all.sh