前言
前段时间学习Hadoop,买了三台玩具服务器(就是那种一般人都看不上的跳楼价服务器);当我兴致勃勃搭建好集群环境后,过了半个钟突然发现服务器卡出翔了,阿里云还不断发告警短信;上去一看,集群跑满了,我一脸懵逼
三个症状:
1、yarn任务列表出现三个用户为:dr.who 的任务在执行
2、查看定时任务(命令:crontab -l ):会看到一个莫名其妙的任务
3、查看:/tmp/ 和 /var/tmp/ 下会有两个文件:kdevtmpfsi 、 kinsing
一、勤快式
之所以称之为勤快式,是我的菜鸟行为
想着:看到我就杀掉它们
然后:不断地将 kdevtmpfsi 、 kinsing 进程 kill 掉,不断将定时任务清除,以及将kdevtmpfsi 、 kinsing 文件删除
开始那几下还好,每天来几次就很烦了
二、想了个办法
只把 定时任务删除 和 kill 掉 kdevtmpfsi 、 kinsing 的进程 然后保留了 kdevtmpfsi 、 kinsing 的文件,只是将它们改为只读权限 就这样,安全了三天;到了第四天,又看到了kdevtmpfsi 、 kinsing进程,一看 /tmp/ 目录; 多了 kdevtmpfsi 、 kinsing 的新文件,并且每个文件名后多了随机数(禽兽啊,我这垃圾服务器都穷追不舍)三、下定决心
我已经累了,下定决心好好搞一搞 看了度娘,看到了可以开启 kerberos 认证;然后信心满满去看怎么设置,然后 入门到放弃! 再想想,dr.who 是通过yarn 的8088 端口就行暴力提交(我也不懂),那我就改掉这个端口试试呗 在 $HADOOP_HOME/etc/hadoop/yarn-site.xml 中指定yarn web页面的端口xxxx : 你的幸运数字
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>${yarn.resourcemanager.hostname}:xxxx</value>
<description>yarn网页端口</description>
</property>
改了端口之后,貌似安静了很多。。。。