hadoop2.x安装部署和基本配置（伪分布式模式）

环境：Centos7

准备工作：

    请先行安装jdk，https://www.cnblogs.com/Dylansuns/p/6974272.html。

    下载hadoop2.5.0版本：链接：https://pan.baidu.com/s/1QNHjtrXUqoImC6rxWxuxWg ，提取码：ujm4 。

具体步骤如下：

1.将下载hadoop2.5.0解压到指定文件夹中：

tar -zxvf hadoop-2.5.0-cdh5.3.6 -C /home/hadoop/hadoop2.5.0

解压完成后，可查看相关文件

需要配置的文件都存放在etc/hadoop中

2.把JAVA_HOME设置为本地配置的jdk路径（进入到etc/hadoop中）：

忘记本地配置的jdk路径可以通过echo查看

3.配置HDFS

（1）配置core-site.xml

在此文件中除了要指定namenode主节点所在位置以及端口号以外，还可以更改hadoop.tmp.dir的默认临时目录路径，该路径主要存放镜像文件、日志文件，当系统临时文件清空时，hadoop会找不到对应的文件。

图中mengliu:8020对应主机名：端口号，读者可以根据自己的主机名进行修改，端口号一般不变。

当然，在更改hadoop.tmp.dir的默认临时目录路径之前，应该创建对应的目录路径。

（2）配置etc/hadoop/slaves

指定datanode从节点所在的位置，salves文件配置，直接将内容修改为主机名。

（3）配置etc/hadoop/hdfs-site.xml，指定副本个数

（4）对namenode进行格式化

PS：只需要进行一次格式化，多了会报错。若因再次格式化报错时，需要删除到hadoop.tmp.dir目录下删除这个目录下的文件，然后重新格式化即可。

（5）启动相关进程

（6）可以通过jps查看是否启动成功，也可以通过登录网页（主机名:50070）查看

（7）完成之后，实现对HDFS文件系统进行读写上传下载测试：

#bin/hdfs dfs -mkdir -p tmp/conf
#bin/hdfs dfs -put etc/hadoop/core-site.xml /user/frank/tmp/conf
#bin/hdfs dfs -cat/user/frank/tmp/conf/core-site.xml
#bin/hdfs dfs -get/user/frank/tmp/conf/core-site.ml /home/frank/bf-site.xml

PS：报错出现问题可以通过logs查看具体日志文件内容。

4.配置yarn

（1）配置yarn-site.xml

配置之前可以先匹配一下对应的jdk路径（只是为了保险起见，不是必需步骤）

配置的内容主要是reduce获取数据的方式，以及制定resourcemanager的位置。

(2)配置mapred-site.xml

同样，可以先匹配一下对应的jdk路径（可忽略）

将mapred-site.xml.template重命名为mapred-site.xml，并进行文件配置：

配置内容主要是制定mapreduce运行在yarn上。

（3）启动yarn

（4）完成后同样可以通过jps查看