最近要用到Hadoop,整理一下安装配置的步骤
环境:
Centos7
Hadoop2.6.7
jdk1.8.0_171
①安装jdk1.8.0_171,看我之前的博客
②安装Hadoop2.6.7
1)下载Hadoop2.6.7
③解压Hadoop tar.gz包:使用tar -zxvf hadoop-2.7.6.tar.gz 命令
④配置Hadoop
1)打开编辑etc/hadoop/hadoop-env.sh文件,修改JAVA_HOME的位置
2)编辑Hadoop的环境变量,打开/etc/profile文件并生效
3)编辑etc/hadoop/core-site.xml文件:
注意:138.16.232.129路径可为机子名,可以为你的ip地址
4)编辑etc/hadoop/hdfs-site.xml 文件:
注意:红框内属性值前端是hadoop安装的位置
5)配置etc/hadoop/mapred-site.xml(如果没有文件则使用mv mapred-site.xml.template mapred-site.xml命令把.template文件重命名为.xml文件)
6)配置etc/hadoop/yarn-site.xml
⑤设置SSH免密登录
⑥Hadoop格式化,进入到安装根目录下
使用./bin/hdfs namenode -format 命令
注意:无法格式化时把前面两个配置文件中中文删掉
⑦启动:./sbin/start-all.sh命令即可
⑧使用jps命令查看启动的进程
使用外部访问ip地址:50070跟8088端口,如果无法外部访问,试一下关闭一下你的防火墙!!
有什么不对的!敬请提出,谢谢