HDFS分布式集群搭建错误汇总

最新推荐文章于 2022-08-25 15:08:53 发布

李功林

最新推荐文章于 2022-08-25 15:08:53 发布

阅读量317

点赞数

分类专栏： HPE大数据学习零基础学习大数据文章标签：错误汇总 HDFS 大数据 Linux

本文链接：https://blog.csdn.net/weixin_43363946/article/details/83004689

版权

HPE大数据学习同时被 2 个专栏收录

22 篇文章 0 订阅

订阅专栏

零基础学习大数据

16 篇文章 0 订阅

订阅专栏

分布式集群搭建错误汇总

虚拟机防火墙未关闭
永久有效
开启：chkconfig iptables on
关闭：chkconfig iptables off
一次性有效重启后失效(不建议)
开启：service iptables start
关闭：service iptables stop
centos7关闭方法:
启动：
systemctl start firewalld
关闭：
systemctl stop firewalld
查看状态：
systemctl status firewalld
开机禁用：
systemctl disable firewalld
开机启用：
systemctl enable firewalld
hosts文件Ip地址未做映射,导致用主机名访问不到
vim /etc/hosts
加上Ip地址和对应的主机名
192.168.***.128 node01
克隆虚拟机需要修改的配置文件
vim /etc/sysconfig/network
修改为自己的主机名
vim /etc/hosts
增加本机的Ip和主机名

修改网卡配置文件
vim /etc/sysconfig/network-scripts/ifcfg-eth0

BOOTPROTO=“none”
IPADDR=192.168.91.128
PREFIX=24
GATEWAY=192.168.91.2
DNS1=8.8.8.8

在这里插入图片描述

这里HWADDR可以用以下命令查询:

ifconfig -a | grep HWaddr | awk '{print $NF}'
在这里插入图片描述

namenode 用kill -9杀死掉active节点 ,standby无法自动转换为active;
反复确认过不是配置的问题,得到隔壁小组的帮助,用以下命令解决:
yum install psmisc
安装完成后得以解决,感谢隔壁小组的帮助!
连接Ip是0.0.0.0,考虑是节点没有hadoop的安装包!
[解决办法]:
将安装包发送到本节点得以解决
spark在yarn上运行报错:

Exception in thread “main” org.apache.spark.SparkException: Yarn> Exception in thread “main” org.apache.spark.SparkException: Yarn
application has already ended! It might have been killed or unable to
launch application master.
at org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.waitForApplication(YarnClientSchedulerBackend.scala:124)

打开yarn-site.xml添加以下配置信息!

<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

脑裂问题:
这里出现的主要原因是错误的格式化namenode,导致缓存路径下的VERSION文件里myclusterId不一致 . 从而Namenode无法与DataNode通信
格式化Namenode要注意:

一定要先关闭集群再操作!!!
删除缓存路经下的缓存文件.
重新格式化

集群启动没有存活的DN节点
考虑是hosts文件中

 127.0.0.1   node01   localhost localhost.localdomain localhost4 localhost4.localdomain4 
  ::1       node01   localhost localhost.localdomain localhost6 localhost6.localdomain6

里添加了node01之类的映射,
正确做法:

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
172.20.30.47 node01
172.20.30.48 node02
172.20.30.49 node03
172.20.30.50 node04
172.20.30.51 node05
172.20.30.52 node06
172.20.30.53 node07
172.20.30.54 client