最近想把集群的spark服务升级为spark2,用spark on hive功能,在安装的时候service cloudera-scm-server restart 报failed
查看日志
cloudera-scm-server.log日志没有刷新,但看到cloudera-scm-server.out的时间有刷新,打开看一下
仅仅一行的日志,但看到/var/log/secure日志时间也刷新了
报下面的错,推测配置文件的问题
报错原因:
无法为nofile设置限制,操作不被允许 ,cloudera-scm用户文件句柄问题,导致无法open session
注意: 千万不要把nofile设置成unlimited,不然就准备请运维同事吃饭吧,修改过程中把nofile设为了 unlimited,reboot,结果gg了
采取方案:
修改配置文件:/etc/security/limits.d/cloudera-scm.conf
把原来nofile的unlimited设置为1048576
service cloudera-scm-server restart OK
一切正常