2021-09-13

前言

前段时间学习Hadoop,买了三台玩具服务器(就是那种一般人都看不上的跳楼价服务器);当我兴致勃勃搭建好集群环境后,过了半个钟突然发现服务器卡出翔了,阿里云还不断发告警短信;上去一看,集群跑满了,我一脸懵逼


三个症状:
1、yarn任务列表出现三个用户为:dr.who 的任务在执行
2、查看定时任务(命令:crontab -l ):会看到一个莫名其妙的任务
3、查看:/tmp/ 和 /var/tmp/ 下会有两个文件:kdevtmpfsi 、 kinsing

一、勤快式

之所以称之为勤快式,是我的菜鸟行为
想着:看到我就杀掉它们
然后:不断地将 kdevtmpfsi 、 kinsing 进程 kill 掉,不断将定时任务清除,以及将kdevtmpfsi 、 kinsing 文件删除
开始那几下还好,每天来几次就很烦了

二、想了个办法

只把 定时任务删除 和 kill 掉 kdevtmpfsi 、 kinsing 的进程 然后保留了 kdevtmpfsi 、 kinsing 的文件,只是将它们改为只读权限 就这样,安全了三天;到了第四天,又看到了kdevtmpfsi 、 kinsing进程,一看 /tmp/ 目录; 多了 kdevtmpfsi 、 kinsing 的新文件,并且每个文件名后多了随机数(禽兽啊,我这垃圾服务器都穷追不舍)

三、下定决心

我已经累了,下定决心好好搞一搞 看了度娘,看到了可以开启 kerberos 认证;然后信心满满去看怎么设置,然后 入门到放弃! 再想想,dr.who 是通过yarn 的8088 端口就行暴力提交(我也不懂),那我就改掉这个端口试试呗 在 $HADOOP_HOME/etc/hadoop/yarn-site.xml 中指定yarn web页面的端口
xxxx :  你的幸运数字
 		</property>
                <property>
                <name>yarn.resourcemanager.webapp.address</name>
                <value>${yarn.resourcemanager.hostname}:xxxx</value>
                <description>yarn网页端口</description>
        </property>

改了端口之后,貌似安静了很多。。。。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值