大数据集群问题总结

1.集群子节点dataanode起不起来

2.在安装CDH的时候监控不到节点
a.首先看在各个agent节点中在cm-5.14.4/etc/cloudera-scm-agent/路径下的config.ini中的server_host=主节点，配置没

3.如果安装CDH失败
a.先停止所有的agent和server服务
cloudera-scm-agent stop ;cloudera-scm-server stop
b.删除所有agent的uuid
rm -rf cm-5.12.1/lib/cloudera-scm-agent/*
c.删除数据库
mysql>drop database cm;
mysql>drop database scm;

d.重新运行创建数据库的脚本
/data1/hadoop/cloudera-manager/cm-5.14.4/share/cmf/schema/scm_prepare_database.sh mysql -hdzf-6-80 -P 3306 -uroot -pdzf123456 --scm-host dzf-6-80 scm scm dzf123456

４.如果agent启动失败
a.看看是不是cm的lib下的cloudera－scm－agent下的uuid是否一样，一样的话删除　
b.再看看agent的旧端口是否没有关闭netstat -tupnl |grep 19001 \ 查看agent的默认端口号，没有关闭就使用 kill -9 进程号
c.删除 /opt/cm-5.14.1/run/cloudera-scm-agent/cloudera-scm-agent.pid 文件

5.如果安装的时候出现parcel库找不到？
原因：CDH默认的地址是在/opt/cloudera/parcel-repo中

6.如果在安装分配的过程中出现主机运行状态不良
解决：rm -rf /opt/cloudera-manager/cm-5.14.1/lib/cloudera-scm-agent/cm_guid

7.如果遇到节点不能激活的情况
解决：那是因为环境不够干净，
a.停掉所有的agent服务和server服务，删除lib/cloudera-scm-agent/*下的所有资源
b.删除cm scm数据库，创建cm数据库
c.重新执行/opt/cm-5.14.1/share/cmf/schema/scm_prepare_database.sh mysql -hdzf-6-80 -P 3306 -uroot -pdzf123456 --scm-host dzf-6-80 scm scm dzf123456
d.删除各个节点上的cloudera下的parcel-cache 和 parcels，和parcel-repo下的.torrent资源
e.确认将老的supervisord都杀干净了。可以先ps ax | fgrep supervisord 看下是否有老的进程，有的话进行强制杀死kill -9
f.再重新启动serve服务和agent服务

8.如果安装hive出现元数据存储错误因为没有默认的mysql驱动
解决：把mysql的jar包拷贝到/usr/share/java/下，并重命名为mysql-connector-java.jar

9.如果安装spark2 出现客户端配置错误，原因是CDH5默认识别的jdk路径为：/usr/java/default
解决：建立软连接 ln -s /usr/local/jdk/jdk1.8.0_144/* /usr/java/default/

10.如果CDH出现CDH entropy was available错误，原因是原因是系统熵值低于 CDH 检测的阀值引起的, 所以解决思路是需要调大系统熵值
解决：
a.查询系统熵值大小cat /proc/sys/kernel/random/entropy_avail
b.安装 rng-tools 工具 yum -y install rng-tools
c.修改 /etc/sysconfig/rngd 文件，如没有该文件就创建 cat /etc/sysconfig/rngd
d.键入如下内容 OPTIONS="-r /dev/urandom"
e.启动服务，并重新查询熵池 systemctl restart rngd.service