集群安装和遇到的问题

Hadoop集群安装步骤

1. 选定一台机器作为 Master
2. 在 Master 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境
3. 在 Master 节点上安装 Hadoop，并完成配置
4. 在其他 Slave 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境
5. 将 Master 节点上的 /usr/local/hadoop 目录复制到其他 Slave 节点上
6. 在 Master 节点上开启 Hadoop

打开虚拟网络编辑器

新建网络适配器(由于之前新建过,这里就不新建了)

选择仅主机模式

右击虚拟机打开设置->添加->网络适配器->选择刚刚创建的网络适配器

打开虚拟机输入 1.sudo vim /etc/hostname 修改主机名称

2.sudo vim /etc/hosts 各名称对应各IP

*注意需要重启才能生效
试一下能不能ping的通

*如果用Xshell连接集群需要重启网络适配器

设置->WiFi->网络适配器->右击重启


/usr/local/Hadoop/etc/Hadoop
core-site.xml

hdfs-site.xml

mapred-site.xml

yarn-site.xml

在 Master 节点上执行
cd /usr/local
sudo rm -r ./hadoop/tmp # 删除 Hadoop 临时文件
sudo rm -r ./hadoop/logs/* # 删除日志文件
tar -zcf ~/hadoop.master.tar.gz ./hadoop # 先压缩再复制
cd ~
scp ./hadoop.master.tar.gz Slave1:/home/Hadoop
在 Slave1 节点上执行
sudo rm -r /usr/local/hadoop # 删掉旧的（如果存在）
sudo tar -zxf ~/hadoop.master.tar.gz -C /usr/local
sudo chown -R hadoop /usr/local/Hadoop
同样，如果有其他 Slave 节点，也要执行将 hadoop.master.tar.gz 传输到 Slave 节点、在 Slave 节点解压文件的操作。
hdfs namenode -format # 首次运行需要执行初始化，之后不需要
start-dfs.sh
start-yarn.sh
mr-jobhistory-daemon.sh start historyserver
通过命令jps可查看各个节点所启动的进程
NameNode、ResourceManager、SecondrryNameNode、JobHistoryServer 进程
在 Slave 节点可以看到 DataNode 和 NodeManager 进程

问题：

由于之前节点名字是hadoop01，hadoop02改为Slave1，Slave2需要改名的文件有hostname
hosts等文件的名字，其他文件复制过去就行了，
但是我忘记了slaves文件出现一下问题
修改slave文件就行了