hadoop集群配置问题:
(1)我一开始配置出现的问题是live nodes显示有三个,但datanode没有显示,或者只显示一个
没有显示的问题:
原因:这是多次格式化的问题
解决办法:1-删除的创建数据和临时文件夹
删除data/hadoop下的tep文件和namenode文件(网上删除方法很多,一点更要删除文件目录)
2-1.创建数据和临时文件夹
Master node:
mkdir -p /data/hadoop/tmp
mkdir -p /data/hadoop/namenode
Other nodes:
mkdir -p /data/hadoop/tmp
mkdir -p /data/hadoop/datanode
或者在master节点shell :
ssh node1 “mkdir -p /data/hadoop/tmp & mkdir -p /data/hadoop/datanode”
ssh node2 “mkdir -p /data/hadoop/tmp & mkdir -p /data/hadoop/datanode”
ssh node3 “mkdir -p /data/hadoop/tmp & mkdir -p /data/hadoop/datanode”
2-2. 分发到每个节点
scp -r /opt/hadoop-3.1.4/ node1:/opt/
scp -r /opt/hadoop-3.1.4/ node2:/opt/
scp -r /opt/hadoop-3.1.4/ node3:/opt/
2-3. 格式化 HDFS
在master上面:
cd /opt/hadoop-3.1.4
cd bin
./hdfs namenode -format demo
(2)hadoop中live nodes有三个,但datanode只显示一个的问题
原因:主机名重复
方法修改主机名:(到每一个主机上面执行下面的命令)
hostnamectl set-hostname master
hostnamectl set-hostname node1
hostnamectl set-hostname node2
hostnamectl set-hostname node3
修改完成后都要输入reboot重启
vi /etc/sysconfig/network
输入: HOSTNAME=master/node1/node2/node3
(这种方式修改的主机名不可以,必须用上面一种方式修改,我一开始就是这样修改主机名的,显示只有一个datanode,这种方式可以正常切换主机,但是主机名却没有跟着切换)
主机名修改完成后,可以开始启动了
启动集群
在master上操作,cd到sbin文件夹 (/opt/hadoop-3.1.4/sbin),注意启动顺序:
[root@master sbin]# ./start-dfs.sh
[root@master sbin]# ./start-yarn.sh
[root@master sbin]# ./mr-jobhistory-daemon.sh start historyserver 或者 mapred --daemon start historyserver
- 报错:设置hadoop-env.sh
/opt/hadoop-3.1.4/etc/hadoop/hadoop-env.sh
在master上设置,添加授权:
export HDFS_NAMENODE_USER=“root”
export HDFS_DATANODE_USER=“root”
export HDFS_SECONDARYNAMENODE_USER=“root”
export YARN_RESOURCEMANAGER_USER=“root”
export YARN_NODEMANAGER_USER=“root”
拷贝文件到其他节点:
scp hadoop-env.sh node1:/opt/hadoop-3.1.4/etc/hadoop/
scp hadoop-env.sh node2:/opt/hadoop-3.1.4/etc/hadoop/
scp hadoop-env.sh node3:/opt/hadoop-3.1.4/etc/hadoop/
-> 再重复2步骤,通过jps查看进程
- 关闭防火墙
(对所有节点,可以考虑在克隆之前完成)
systemctl status firewalld.service
systemctl stop firewalld.service & systemctl disable firewalld.service
最后在浏览器输入:主机的IP地址:50070(192.168.174.200)
以上是本人在配置hadoop遇到的部分问题以及解决办法,希望对大家有帮助
文章来自cqmu