Hadoop全分布式安装

一、修改配置文件

在上一篇：Hadoop伪分布式安装的基础上

1.配置主节点信息，dir目录信息

打开/opt/hadoop-2.6.5/etc/hadoop/core-site.xml文件

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://node0001:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/var/hadoop/full</value>
        </property>
</configuration>

2.配置从节点信息

打开/opt/hadoop-2.6.5/etc/hadoop/slaves文件

node0002
node0003
node0004

3.配置副本数量、及secondary

打开/opt/hadoop-2.6.5/etc/hadoop/hdfs-site.xml文件

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>2</value>
        </property>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>node0002:50090</value>
        </property>
</configuration>

二、四台机器有相同hadoop的配置

1.配置NameNode可以免密登录DataNode

把node0001的ssh公钥追加到其他节点ssh的authorized_keys 文件中

2.把hadoop复制到其他节点

scp -r /opt/hadoop-2.6.5/ node0002:/opt/

scp -r /opt/hadoop-2.6.5/ node0003:/opt/

scp -r /opt/hadoop-2.6.5/ node0004:/opt/

3.java和hadoop环境变量复制到其他节点

三、使用

1.格式化

在node0001上格式化namenode

hdfs namenode -format

2.启动

在node0001上使用start-dfs.sh启动，可以看到node0001、node0002、node0003、node0004都启动了

node0001为namenode，node0002为secondary和datanode，node0003为datanode，node0004为datanode

jps查看java进程

node0001

node0002

node0003

node0004

3.关闭

在node0001上使用stop-dfs.sh关闭hadoop，可以看到关闭信息