virtualbox中搭建基于centos7.1、hadoop2集群

2019独角兽企业重金招聘Python工程师标准>>>

问题场景：学习hadoop，却苦于没有自己的集群，因此，在自己的计算机上利用虚拟机技术来搭建真实的hadoop集群，进一步地，为学习hadoop生态体系做支撑。

搭建注意事项：

1.在集群内所有机器配置无密钥登录（可能出现的问题有authorized_keys 权限需要是600，~/.ssh/权限需要700，命令如下）

chmod 600 ~/.ssh/authorized_keys

chmod 700 ~/.ssh  

2、永久关闭防火墙和selinux

systemctl disable firewalld

systemctl disable selinux

重启操作系统

3、配置部分
    3.1 建议设置HADOOP_CONF_DIR变量将hadoop的配置文件拷贝到该目录下编辑的文件包括：core-site.xml yarn-site.xml hdfs-site.xml mapred-site.xml slaves hadoop-env.sh yarn-env.sh ，当配置结束后，建议在单节点测试NAMENODE,DATANODE,RESOURCEMANAGER,NODEMANAGER,JOBHISTORYSERVER等进程是否能正常启动

4 上述步骤验证无误后，清除多余数据，将jdk、hadoop以及相应配置文件向从节点分发，进行验证

搭建教程：

http://hadoop.apache.org/docs 下的集群部署文档

转载于:https://my.oschina.net/dyxlove1987/blog/161437