安装cdh遇到的问题记录

由于项目需要,在开发环境上搭建cdh 5.12版本。因此,记录几个在搭建时遇到的问题及解决。

1.  需要在部署的每台服务器上都装上jdk1.7,否则安装时会报错如下:

Error: JAVA_HOME is not set and Java could not be found。

解决:

之前已经在每台机器上都安装过了jdk1.7,仍旧报这个错误。

于是查了下,需要在/etc/hadoop/conf/hadoop-env.sh中,加上export JAVA_HOME=/usr/local/jdk1.7.0_79/  (显式声明JAVA_HOME)。然后再重启下server和agent  ---->  生效。

 2.  测试hue的数据库--->测试连接失败,报错如下:

ImportError: libxslt.so.1: cannot open shared object file: No such file or directory

解决:

在网上搜了下,大部分的解决方案都存在问题,其实看报错就是这个基础服务没装好而已。

服务器上安装libxslt服务即可:yum install libxslt-devel -y

3. 启动namenode时,遇到这个很坑的报错:

can‘t open /opt/cm-5.12.0/run/cloudera-scm-agent/process/46-hdfs-NAMENODE/supervisord.conf , Permission deny

被这个问题折腾了一两天,最初以为是权限问题,直接使用root用户进行将此文件chmod 777。然后重启agent后,再去启动namenode,发现每次都会自动在/opt/cm-5.12.0/run/cloudera-scm-agent/process文件夹建立对应的namenode文件夹,且此文件权限如下:


cloudera-config.sh对应找此文件之前的运行shell命令之前进行赋权限,感觉这个方法可行,实际上不能成功,因为此时是hdfs在操作脚本,无法进行赋权限。

之后进行卸载重装了两次,以为是版本问题,最初装的5.12.1版本,换为5.12.0版本进行安装,启动namenode的时候还是报错了。在网上又各种找解决方案,有说是权限问题(直接进行修改文件权限),还有说是内存配置问题的,都尝试过,仍然报错。

解决:

直接找到对应的执行脚本/opt/cm-5.12.0/lib64/cmf/service/common/cloudera-config.sh,在执行脚本里面加上sleep 3m(将进程挂起3分钟)。然后在启动namenode过程中,手动使用root用户将此文件chmod 777后,即可正常启动namenode。 (注:待supervisord.conf生成后,hdfs用户还未对此文件进行访问时,挂起进程3分钟,用root修改权限 --->hdfs用户再进行操作时,可正常操作此文件


评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值