Centos7配置hadoop环境教程

本教程适合在安装好JDK前提下进行

1. Hadoop安装
   Hadoop安装包下载：http://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/

我这里使用FileZila把安装包放到

> /opt/app      
> 注意文件给予的权限↓        
> chmod 777 /opt/app        
> 进入到该目录↓(注意使用 ls 查看是否有该文件)     
> cd /opt/app       
> 解压缩文件        
> tar -zxvf hadoop-2.7.3.tar.gz     
> 修改环境变量      
> vi /etc/profile

添加如下变量信息：

export HADOOP_HOME=/opt/app/hadoop-2.7.3
export PATH=$HADOOP_HOME/bin:$PATH

然后刷新环境变量,并查看hadoop版本信息：

source /etc/profile
hadoop version

2. Hadoop的JDK配置
   执行该命令

vi /opt/app/hadoop-2.7.3/etc/hadoop/hadoop-env.sh

PS:JDK路径请参考自己的！！！

核心文件配置

以下指令基于改目录下，请务必先做好准备！

cd /opt/app/hadoop-2.7.3/etc/hadoop

1. 执行编辑core-site.xml文件的命令

vi core-site.xml

划红线的修改为自己的hostname名字，由于未知原因，本人得这么写才能运行成功。请自己斟酌！！编辑完成后，退出并保存即可！

2. 执行编辑hdfs-site.xml文件的命令

vi hdfs-site.xml

数字3是本人集群电脑个数（包括本机），其余和第一的一样。

3. 执行编辑yarn-site.xml文件的命令

vi yarn-site.xml

划红线的和上面一样的道理。

4. 配置MapReduce计算框架文件
   系统已经有一个mapred-site.xml.template文件，我们需要将其复制并改名，位置不变。

cp mapred-site.xml.template mapred-site.xml

编辑mapred-site.xml文件

vi mapred-site.xml

关键部分如图所示

配置好关键文件后，切换到以下目录并格式化hadoop：

cd /opt/app/hadoop-2.7.3/sbin
hadoop namenode -format

在系统等待输入Y或N时，输入Y后，在该行下面会出现

最后运行测试指令：

//登录到对应的用户名-记得是管理员模式下运行！！
./start-all.sh    //已经在sbin目录下执行

验证集群是否成功

执行

jps   //依旧在sbin目录下

教程结束

如有不足之处，欢迎指出！！！
欢迎访问：个人博客