hadoop集群搭建

​​​​一、安装hadoop

检查系统版本，使用cat /etc/redhat-release命令查看当前系统的版本，确保三台虚拟机的系统版本一致。

 检查jdk版本

Jdk版本会对虚拟机运行操作有很大影响，使用1.8版本最稳定，确保三台虚拟机的版本一致。

 检查时间同步

时间同步才能进行同一步操作，使用date命令查看时间并且进行更新。

 

 关闭Linux系统的邮件自动提示功能

 root下放置hadoop压缩包

解压缩

 查看 /usr/local/hadoop2.7.3 目录 ll

二、配置hadoop的相关配置文件

对hadoop进行配置文件的配置：

 配置hadoop的环境变量

注意是linux中的文件，不是hadoop2.7.3中的文件

Vi /etc/profile

 配置hadoop中的相关文件

hadoop-env.sh

 core-site.xml

 hdfs-site.xml

 mapred-site.xml

对他的后缀进行修改

mv mapred-site.xml.template mapred-site.xml

 yarn-site.xml

 配置从节点

Vi slaves  删除localhost

 必须把hadoop1中的etc/profile下发给从节点

scp /etc/profile hadoop2:/etc/profile

scp /etc/profile hadoop3:/etc/profile

都需要分别进行更新

source /etc/profile

 

 把配置好的hadoop1的内容分发给hadoop2中的usr/local目录中；

scp -r /usr/local/java/java/hadoop-2.7.3/ hadoop2:/usr/local/java/

把配置好的hadoop1的内容分发给hadoo3中的usr/local目录中；

scp -r /usr/local/java/java/hadoop-2.7.3/ hadoop3:/usr/local/java/

 三、启动hadoop集群

hadoop集群的启动

 开始启动我们的集群

使用该命令失败，出现Error: Cannot find configuration directory: /etc/hadoop问题，这是因为使用了 hadoop-env.sh 默认的关于 hadoop 配置文件所在目录的配置，这里需要根据你自己的安装路径重新设置。

修改 hadoop-env.sh：

启动成功   使用jps命令