hadoop及spark集群搭建后续

本文详细记录了在搭建Hadoop和Spark集群过程中遇到的问题及其解决方案,包括时间同步问题导致的HRegionServer未启动、Spark WebUI无法打开、Hadoop找不到外接磁盘阵列、Python3操作Hbase的语法错误以及Hadoop YARN内存报错等常见问题,通过调整配置和修复代码,成功解决了这些问题。
摘要由CSDN通过智能技术生成

问题1:查看 jps,里面只有HQuorumPeer,没有 HRegionServer

查看logs,master rejected startup because clock is out of sync

原因:几台机器时间对不上

解决方法:将有问题机器的时间校正

date -s xx:xx:xx

然后重启regionserver 

hbase-daemon.sh --config /usr/local/hbase/hbase-conf start regionserver  

问题2:Spark webUI打不开

原因1:spark ui的默认端口是4040,然后被占用了就会顺序取+1的端口,当开了多个spark程序之后,当端口号加到了4045,在chrome浏览器里面就打不开了。会返回一个UNSAFE PORT的错误信息,
其实这是浏览器禁用了你访问这个端口,程序其实是正常运行的。因此建议手工指定spark.ui.port=4046在spark-defaults.conf配置文件中,
如果4046被占用了,就从4046开始往后+1,跳过4045这个端口,避免看不到spark ui界面的困扰。

原因2:sparksubmit进程没有运行,当sparksubmit停在运行时,4040端口也就关闭了

问题3:hadoop找不到外接磁盘阵列

原因:利用df命令检查linux服务器的文件系统的磁盘空间占用情况

系统显示文件系统/dev/sdb3已经挂到系统上了 ,在/home目录下

修改worker的

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值