Hadoop环境搭建，以及mapreduce的使用

Hadoop2.5环境搭建
1. 解压安装Hadoop
命令：
$ tar -zxf hadoop-2.5.0.tar.gz -C /opt/modules/

2. 配置Hadoop的JAVA支持（/etc/hadoop目录下）
hadoop-env.sh
mapred-env.sh
yarn-env.sh

在这3个文件中都配置
export JAVA_HOME=/opt/modules/jdk1.7.0_67
hadoop-env.sh ：（第二十五行）

mapred-env.sh ：（第十六行）

yarn-env.sh ：（第二十三行）

3. 与hdfs相关的配置 ${HADOOP_HOME}/etc/hadoop
core-site.xml
hdfs-site.xml
在core-site.xml中配置：
=============core-site.xml===================

---

在hdfs-site.xml中配置：
=============hdfs-site.xml============

---

1. 格式化namenode 只格式化一遍，不要重复格式化
   命令：（cd /opt/modules/hadoop-2.5.0）
   $ bin/hdfs namenode –format
   
   5.启动hdfs守护进程
   命令：（cd /opt/modules/hadoop-2.5.0）
   $ sbin/hadoop-daemon.sh start namenode //启动namenode进程

   $ sbin/hadoop-daemon.sh start datanode //启动datanode进程
   

注：使用jps命令查看进程是否启动成功

---

6.打开浏览器访问：http://com.rumple:50070

---

1. 配置YARN 任务调度 （Mapreduce） 资源管理（resourcemanager nodemanager）
   yarn-site.xml
   mapred-site.xml

1）在yarn-site.xml中配置：
=======mapred-site.xml=====
${HADOOP_HOME}/etc/hadoop目录下配置mapred-site.xml

2）在mapred-site.xml中配置：
复制并重名模板文件(etc/hadoop目录下)
$ cp mapred-site.xml.template mapred-site.xml

=======mapred-site.xml=====
${HADOOP_HOME}/etc/hadoop目录下配置mapred-site.xml

---

1. 启动hdfs yarn进程
   命令：
   sbin/yarn−daemon.shstartresourcemanag