hadoop 2.x 配置

软件的安装目录： 

/opt/ 

安装: 

0）说明 

0、配置ssh面密码登录 

      ssh-keygen -t rsa 

      将公钥拷贝到需要访问的主机上 

                      ssh-copy-id username@hostname 

     g 

      或者先将公钥写入到authorized_keys 

      

                      然后使用scp发送到远程主机 

注：如ssh localhost 不成功，则检查authorized_keys的权限，设置为600

1、系统：CentOS 6.4 64位 

2、关闭防火墙和SELinux 

service iptables stop 

chkconfig iptables off 

setenforce 0 

vi /etc/sysconfig/selinux           

设置 SELINUX=disabled 

3、修改HostName 

vi /etc/sysconfig/network 

NETWORKING=yes  

                        HOSTNAME=hadoop 

4、IP与HostName绑定 

vi /etc/hosts 

内容： 

192.168.48.128  hadoop 

5、安装JDK 

设置环境变量： 

vi /etc/profile 

添加内容： 

export JAVA_HOME=/opt/jdk1.7.0_71  

export CLASSPATH=.:%JAVA_HOME%/lib/dt.jar:%JAVA_HO  ME%/lib/tools.jar 

 export PATH=$PATH:$JAVA_HOME/bin 

生效： 

# source /etc/profile 

1）解压tar包 

tar -zxvf hadoop-2.2.0.tar.gz -C /opt/ 

2）安装目录 

HADOOP_HOME=/opt/hadoop-2.2.0 

        

3）配置 

1、hadoop-env.sh 

export JAVA_HOME=/opt/jdk1.7.0_71 

2、yarn-env.sh 

export JAVA_HOME=/opt/jdk1.7.0_71 

3、mapred-env.sh 

export JAVA_HOME=/opt/jdk1.7.0_71 

4、core-site.xml 

<property>    

<name>fs.defaultFS</name> 

<value>hdfs://hadoop-yarn.dragon.org:8020</value> 

</property> 

<property> 

<name>hadoop.tmp.dir</name> 

<value>/opt/hadoop-2.2.0/data/tmp</value> 

</property> 

5、hdfs-site.xml 

<property> 

   <name>dfs.namenode.name.dir</name> 

   <value>file:///opt/hadoop-2.6.0/data/dfs/namenode/name</value> 

</property> 

<property> 

    <name>dfs.namenode.edits.dir</name> 

    <value>file:///opt/hadoop-2.6.0/data/dfs/namenode/edits</value> 

</property> 

<property> 

    <name>dfs.datanode.data.dir</name> 

   <value>file:///opt/hadoop-2.6.0/data/dfs/datanode</value> 

</property> 

<property> 

   <name>dfs.namenode.checkpoint.dir</name> 

   <value>file:///opt/hadoop-2.6.0/data/dfs/secondarynamenode/name</value> 

</property> 

<property> 

<name>dfs.replication</name> 

<value>1</value> 

</property> 

6、yarn-site.xml 

<property> 

    <name>yarn.resourcemanager.hostname</name> 

      <value>master</value> 

</property> 

<property>     

   <name>yarn.nodemanager.aux-services</name>     

   <value>mapreduce_shuffle</value>     

</property>     

<property>     

   <name>yarn.resourcemanager.address</name>     

   <value>master:8032</value>     

</property> 

7、mapred-site.xml 

<property>   

    <name>mapreduce.framework.name</name>   

    <value>yarn</value>   

 </property> 

如果时全分布式安装需要在slaves中添加子节点，然后将hadoop文件夹scp到每个节点上。

4）启动 

1、启动HDFS 

NameNode、DataNode、SecondaryNameNode 

* NameNode 格式化 

bin/hdfs namenode -format 

启动hdfs 

start-dfs.sh 

启动yarn 

start-yarn.sh 

以下为单个启动 

* 启动NameNode 

sbin/hadoop-daemon.sh start namenod 

* 启动DataNode 

sbin/hadoop-daemon.sh start datanode 

* 启动SecondaryNameNode 

sbin/hadoop-daemon.sh start secondarynamenode 

2、启动YARN 

ResourceManager、NodeManager 

* 启动ResourceManger 

sbin/yarn-daemon.sh start resourcemanager 

* 启动NodeManager 

sbin/yarn-daemon.sh start nodemanager 

软件的安装目录： 

/opt/ 

安装: 

0）说明 

0、配置ssh面密码登录 

      ssh-keygen -t rsa 

      将公钥拷贝到需要访问的主机上 

                      ssh-copy-id username@hostname 

     g 

      或者先将公钥写入到authorized_keys 

      

                      然后使用scp发送到远程主机 

注：如ssh localhost 不成功，则检查authorized_keys的权限，设置为600

1、系统：CentOS 6.4 64位 

2、关闭防火墙和SELinux 

service iptables stop 

chkconfig iptables off 

setenforce 0 

vi /etc/sysconfig/selinux           

设置 SELINUX=disabled 

3、修改HostName 

vi /etc/sysconfig/network 

NETWORKING=yes  

                        HOSTNAME=hadoop 

4、IP与HostName绑定 

vi /etc/hosts 

内容： 

192.168.48.128  hadoop 

5、安装JDK 

设置环境变量： 

vi /etc/profile 

添加内容： 

export JAVA_HOME=/opt/jdk1.7.0_71  

export CLASSPATH=.:%JAVA_HOME%/lib/dt.jar:%JAVA_HO  ME%/lib/tools.jar 

 export PATH=$PATH:$JAVA_HOME/bin 

生效： 

# source /etc/profile 

1）解压tar包 

tar -zxvf hadoop-2.2.0.tar.gz -C /opt/ 

2）安装目录 

HADOOP_HOME=/opt/hadoop-2.2.0 

        

3）配置 

1、hadoop-env.sh 

export JAVA_HOME=/opt/jdk1.7.0_71 

2、yarn-env.sh 

export JAVA_HOME=/opt/jdk1.7.0_71 

3、mapred-env.sh 

export JAVA_HOME=/opt/jdk1.7.0_71 

4、core-site.xml 

<property>    

<name>fs.defaultFS</name> 

<value>hdfs://hadoop-yarn.dragon.org:8020</value> 

</property> 

<property> 

<name>hadoop.tmp.dir</name> 

<value>/opt/hadoop-2.2.0/data/tmp</value> 

</property> 

5、hdfs-site.xml 

<property> 

   <name>dfs.namenode.name.dir</name> 

   <value>file:///opt/hadoop-2.6.0/data/dfs/namenode/name</value> 

</property> 

<property> 

    <name>dfs.namenode.edits.dir</name> 

    <value>file:///opt/hadoop-2.6.0/data/dfs/namenode/edits</value> 

</property> 

<property> 

    <name>dfs.datanode.data.dir</name> 

   <value>file:///opt/hadoop-2.6.0/data/dfs/datanode</value> 

</property> 

<property> 

   <name>dfs.namenode.checkpoint.dir</name> 

   <value>file:///opt/hadoop-2.6.0/data/dfs/secondarynamenode/name</value> 

</property> 

<property> 

<name>dfs.replication</name> 

<value>1</value> 

</property> 

6、yarn-site.xml 

<property> 

    <name>yarn.resourcemanager.hostname</name> 

      <value>master</value> 

</property> 

<property>     

   <name>yarn.nodemanager.aux-services</name>     

   <value>mapreduce_shuffle</value>     

</property>     

<property>     

   <name>yarn.resourcemanager.address</name>     

   <value>master:8032</value>     

</property> 

7、mapred-site.xml 

<property>   

    <name>mapreduce.framework.name</name>   

    <value>yarn</value>   

 </property> 

如果时全分布式安装需要在slaves中添加子节点，然后将hadoop文件夹scp到每个节点上。

4）启动 

1、启动HDFS 

NameNode、DataNode、SecondaryNameNode 

* NameNode 格式化 

bin/hdfs namenode -format 

启动hdfs 

start-dfs.sh 

启动yarn 

start-yarn.sh 

以下为单个启动 

* 启动NameNode 

sbin/hadoop-daemon.sh start namenod 

* 启动DataNode 

sbin/hadoop-daemon.sh start datanode 

* 启动SecondaryNameNode 

sbin/hadoop-daemon.sh start secondarynamenode 

2、启动YARN 

ResourceManager、NodeManager 

* 启动ResourceManger 

sbin/yarn-daemon.sh start resourcemanager 

* 启动NodeManager 

sbin/yarn-daemon.sh start nodemanager