hadoop集群搭建注意要点

1.是否做ssh免密登陆

2.每台主机的配置是否一样

3.配置文件是否正确 最最核心 ，很多情况下就是因为配置文件不正确导致的问题。（注释：本文的jdk是通过rpm方式安装的 故使用/usr/java/default作为目录）

4./etc/profile文件是否配置$ JAVA_HOME,$ HADOOP_HOME还有他们的PATH

5.核心配置文件core-site.xml

<configuration>

    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://polo:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/var/bigdata/hadoop/local</value>
    </property>
    <property>
        <name>hadoop.proxyuser.root.groups</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.root.hosts</name>
        <value>*</value>
    </property>
</configuration>

6. hadoop-env.sh

export JAVA_HOME=/usr/java/default

7.hdfs-site.xml

`<configuration>
<property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
<!--   <property>
       <name>dfs.permissions.enabled</name>
       <value>false</value>
    </property> -->
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/var/bigdata/hadoop/full/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/var/bigdata/hadoop/full/dfs/data</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>node02:50090</value>
    </property>
    <property>
        <name>dfs.namenode.checkpoint.dir</name>
        <value>/var/bigdata/hadoop/full/dfs/secondary</value>
    </property>
</configuration>

8.slaves

node02
node03
node04

9.vi /etc/hosts

192.168.76.136 polo
192.168.76.131 node02
192.168.76.138 node03
192.168.76.137 node04

以上192.168.76.136等等都是内网ip，不是腾讯云阿里云等服务器的外网地址

10. vi mapred-env.sh 最后一行加上

export JAVA_HOME=/usr/java/default