Hadoop集群搭建

一、创建虚拟机
二、配置虚拟机的IP地址以及主机名称
相关命令：
vi /etc/sysconfig/network-script/ifcfg-eth0
vi /etc/hosts (集群里的每一台虚拟机都要写入， 格式：IP地址+主机名 ---------------------------类似电话本)

配置完成后，各虚拟机之间相互ping一下，测试连通性
三、把安装包导入主机（目录为/apps）
四、解压安装包
cd /apps
tar -zxvf 包名（成功后对应的路径下会生成一个新的文件夹）
配置JDK环境变量 vi ~/.bash_profile （记得source）

五、配置Hadoop(--------关键！！！！关键--------------------)
1.配置 hdfs-site.xml

dfs.replication 1 dfs.namenode.name.dir /app/hadoop/dfs/name dfs.datanode.data.dir /app/hadoop/dfs/data dfs.secondary.http.address Hadoop-2:50090 dfs.namenode.checkpoint.dir /app/hadoop/dfs/namesecondary

2.配置yarn-site.xml

yarn.nodemanager.aux-service
mapreduce_shuffle

yarn.resourcemanager.hostname Hadoop-1 3.配置mapred-site.xml.template mapreduce.framework.name yarn 4.配置slaves文件 Hadoop-3 （DataNode所在处） (写入从机名即可) 5.配置core-site.xml fs.defaultFS hdfs://Hadoop-1:9000 6.配置hadoop-env.sh 配置对应的JAVA_HOME即可

六、配置免密登陆（不能错，一气呵成，否则后患无穷）
$ ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys
ssh localhost(首次需输入yes)
ssh-copy-id -i ~/.ssh/id_rsa.pub +主机名1 【 】
ssh-copy-id -i ~/.ssh/id_rsa.pub +主机名2 【每台都要配】
ssh-copy-id -i ~/.ssh/id_rsa.pub +主机名3 【 】

七、分发文件（主机上执行）

1. scp -r /apps/ root@Hadoop-2:/apps/ （分发/apps）

2.scp ~/.bash_profile root@Hadoop-2:~/.bash_profile (分发配置文件)
3.source ~/.bash_profile
4.service iptables stop (关闭防火墙，每台都关)
八、格式化Hadoop

1. hadoop namenode -format
2. hadoop datanode -format (成功后会生成对应的路径)

九、启动Hadoop
1.start-all.sh

2.通过进程查看
jps

如果搭建成功：
主机显示：ResourceManager NameNode

从机 1 显示：SecondaryNameNode （取决于hdfs文件的配置）

从机 2 显示： DataNode NodeManager

十、有用的Linux命令
source ~/.bash_profile(环境变量动过就执行)
hadoop dfsadmin -report 查看存活节点（datanode）
service iptables stop 关闭防火墙

十一、问题补充

linux网络设置和虚拟机克隆转移之后Error:No suitable device found:no device found for connection 'System eth0’问题解决
https://www.cnblogs.com/jay763190097/p/6015845.html ;