CentOS配置hadoop

1. 上传hadoop targz包到/opt目录

2. 执行解压缩：
   cd /opt
tar -zxf hadoop-2.6.4.tar.gz -C /usr/local

3. 进入解压的目录
   cd /usr/local/hadoop-2.6.0/etc/hadoop/

4. 依次修改下面的文件
   

   4.1、修改core-site.xml(centos67修改为你自己的机名和端口号)

<configuration>
    <property>
        <name>fs.defaultFS</name>  
        <value>hdfs://centos67:8020</value>  
    </property>  
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/var/log/hadoop/tmp</value>
    </property>
</configuration>

4.2、修改hadoop-env.sh(java安装目录)

`export JAVA_HOME=/usr/java/jdk1.7.0_80/`

4.3、 修改hdfs-site.xml（centos67修改为自己的机名）

<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:///data/hadoop/hdfs/name</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:///data/hadoop/hdfs/data</value>
</property>
<property>
     <name>dfs.namenode.secondary.http-address</name>
     <value>centos67:50090</value>
</property>
<property>
     <name>dfs.replication</name>
     <value>1</value>
</property>

注：1可以修改为自己要备份的数量，1为默认

4.4、修改mapred-site.xml（centos67修改为自己的机名）

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
<!-- jobhistory properties -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>centos67:10020</value>
</property>

<property>
     <name>mapreduce.jobhistory.webapp.address</name>
     <value>centos67:19888</value>
</property>

4.5、修改yarn-site.xml（centos67修改为自己的机名）

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>centos67</value>
</property>
<property>
    <name>yarn.resourcemanager.address</name>
    <value>${yarn.resourcemanager.hostname}:8032</value>
</property>
<property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>${yarn.resourcemanager.hostname}:8030</value></property>
<property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>${yarn.resourcemanager.hostname}:8088</value>
</property>
<property>
    <name>yarn.resourcemanager.webapp.https.address</name>
    <value>${yarn.resourcemanager.hostname}:8090</value>
</property>
<property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>${yarn.resourcemanager.hostname}:8031</value>
</property>
<property>
    <name>yarn.resourcemanager.admin.address</name>
    <value>${yarn.resourcemanager.hostname}:8033</value>
</property>
<property>
    <name>yarn.nodemanager.local-dirs</name>
    <value>/data/hadoop/yarn/local</value>
</property>
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<property>
    <name>yarn.nodemanager.remote-app-log-dir</name>
    <value>/data/tmp/logs</value>
</property>
<property>
    <name>yarn.log.server.url</name> 
    <value>http://centos67:19888/jobhistory/logs/</value>
    <description>URL for job history server</description>
</property>
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

4.6、 yarn-env.sh(修改自己的版本)

export JAVA_HOME=/usr/java/jdk1.7.0_80/

4.7、修改vim slave(该文件是指向子节点)

slave1
slave2
slave3

5.修改/etc/profile

export JAVA_HOME="/usr/java/jdk1.7.0_80" 
export PATH=$PATH:$JAVA_HOME/bin 
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar 

需要source配置文件
注：修改 Hadoop 的配置文件，则需要先关闭集群服务，再修改，再启动。步骤如下：

1、进入 /usr/local/hadoop-2.6.4/sbin 目录下，关闭集群服务：
2、修改配置文件后需要删除根目录下（包括各个子节点）的/data 文件：

rm -rf /data 

3、 格 式 化 Name Node
4、 启动集群服务：

下面详细介绍集群的格式化、启动和关闭

格式化hadoop集群

1.添加环境变量

vim /etc/profile

2.格式化NameNode
进入hadoop安装目录

cd /usr/local/hadoop-2.6.0/bin

3.执行格式化

./hdfs namenode -format

格式化过程中可能会遇到的错误：
1）报错内容 /usr/java/jdk.1.7….. no such file
原因是：配置文件写错 hadoop-evn.sh yarn-env.sh
解决：
第一步： 确认安装了java； java -verison ;
/usr/java
第二步： 确认/usr/java 下面是否有文件夹jdk1.7.0.80 ;

2) 报错内容：/XXX/java/jdk.1.7….. no such file
原因是：配置文件写错 hadoop-env.sh yarn-env.sh
3) 检查修改：
前执行 进入 $HADOOP_HOME/sbin
./stop-yarn.sh
./stop-dfs.sh
./mr-jobhistory-daemon.sh stop historyserver
或
jps
4） map-site.xml end of tag
配置文件出错
注：需要修改4个虚拟机对应配置

启动hadoop集群

1、进入目录

cd /usr/local/hadoop-2.6.0/sbin

2、执行启动顺序

./start-dfs.sh
./start-yarn.sh
./mr-jobhistory-daemon.sh start historyserver

3、查看主节点和子节点的进程

[root@master bin]# jps
2488 JobHistoryServer
2204 ResourceManager
2021 SecondaryNameNode
1886 NameNode
2736 Jps

[root@slave1 ~]# jps
1882 Jps
1719 NodeManager
1628 DataNode

启动成功
4、可以用浏览器查看
http://master:50070
http://192.168.0.128:8088

关闭hadoop集群

按顺序关闭

./stop-dfs.sh 
./stop-yarn.sh 
./mr-jobhistory-daemon.sh stop historyserver 

或者

sh stop-all.sh