linux安装hadoop2.7.2

安装：

1. 配置互信
   配置互信链接
2. hadoop下载
   hadoop官方下载二进制压缩包
3. 解压压缩包

tar -xzvf hadoop-2.7.2.tar.gz 

1. 将其安装…安装位置…中
2. 在…安装位置…/hadoop-2.7.2下创建数据存放的文件夹。

tmp、hdfs、hdfs/data、hdfs/name

1. 修改…安装位置…/hadoop-2.7.2/etc/hadoop下的core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.72.11:9000</value>
    </property>

    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:...安装位置.../hadoop-2.7.2/tmp</value>
    </property>

    <property>
        <name>io.file.buffer.size</name>
        <value>131702</value>
    </property>
</configuration>

1. 修改…安装位置…/hadoop-2.7.2/etc/hadoop下的hdfs-site.xml

<configuration>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:...安装位置.../hadoop-2.7.2/hdfs/name</value>
    </property>

    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:...安装位置.../hadoop-2.7.2/hdfs/data</value>
    </property>

    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>

    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>192.168.72.11:9001</value>
    </property>

    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property>
</configuration>

1. 修改…安装位置…/hadoop-2.7.2/etc/hadoop下的mapred-site.xml

cp mapred-site.xml.template mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>         

    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>192.168.72.11:10020</value>
    </property>

    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>192.168.72.11:19888</value>
    </property>
</configuration>

1. 修改…安装位置…/hadoop-2.7.2/etc/hadoop下的yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <property>
        <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>

    <property>
        <name>yarn.resourcemanager.address</name>
        <value>192.168.72.11:8032</value>
    </property>

    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>192.168.72.11:8030</value>
    </property>

    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>192.168.72.11:8031</value>
    </property>

    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>192.168.72.11:8033</value>
    </property>

    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>192.168.72.11:8088</value>
    </property>

    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>768</value>
    </property>
</configuration>

1. 修改…安装位置…/hadoop-2.7.2/etc/hadoop下的hadoop-env.sh、yarn-env.sh的JAVA_HOME。

vim hadoop-env.sh 

# The java implementation to use.
#export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/usr/java/jdk1.8.0_73

vim yarn-env.sh 

# some Java parameters
# export JAVA_HOME=/home/y/libexec/jdk1.6.0/
export JAVA_HOME=/usr/java/jdk1.8.0_73

1. 配置datanode

vim slaves

添加datanode，这里有两个。

192.168.72.12
192.168.72.13

1. 配置完成后，将hadoop文件夹复制到其他服务器

scp -r hadoop-2.7.2/ root@192.168.72.12:...安装位置.../
scp -r hadoop-2.7.2/ root@192.168.72.13:...安装位置.../

1. 启动在Master服务器启动hadoop，从节点会自动启动，进入…安装位置…/hadoop-2.7.2/目录
   (1)初始化，输入命令，bin/hdfs namenode -format
   (2)全部启动sbin/start-all.sh（This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh），也可以分开sbin/start-dfs.sh、sbin/start-yarn.sh
   (3)停止的话，输入命令，sbin/stop-all.sh
   (4)输入命令，jps，可以看到相关信息
2. Web访问，要先开放端口或者直接关闭防火墙
   (1)输入命令，systemctl stop firewalld.service，关闭防火墙

service iptables stop

(2)浏览器打开http://192.168.72.11:8088/
(3)浏览器打开http://192.168.72.11:50070/

---

注：
启动集群时：不断在datanode上执行jps命令，应该会发现问题。
nodemanager启动后又消失了。
请尝试自己分析，未能解决问题，参见

nodemanager配置，container相关