大数据环境 centos6.9 +cdh5.4.2 安装 踩坑总结整理

大部分遇到的问题 网上都能搜到 ，
我在此仅仅整理一下 ，在我这个centos版本和cdh版本下确实解决了碰到问题的链接

host环境配置和虚拟机环境简介

host

win10 1909 专业版+32内存+固态硬盘（推荐，要跑vm） +vm15.5
插曲 ：大家买内存条 一定要用 windows自带的内存检测工具 检测一下保证万无一失，我就踩坑了一次，买回来直接用一直不稳定 ，经常蓝屏 ，大概一个星期后受不了才经过售后服务换了新的，换新之后 稳了

vm尽量用 vm15.5 版本或更新的，貌似更高版本在win10上更稳

vm15.5 配置

3个虚拟机 centos6.9
2台内存分4g, 跑scm 那台我分了6g ,小了怕不够

cdh15.5+mysql5.7安装过程中遇到的问题以及原参考链接

安装Parcel提示主机运行状况不良

解决方法 （ https://docs.cloudera.com/documentation/enterprise/release-notes/topics/cm_rn_known_issues.html#rn_OPSAPS-34847 ）

删除agent目录下面的cm_guid文件，并重启失败节点的agent服务恢复。

find / -name cm_guid
/var/lib/cloudera-scm-agent/cm_guid

删除它/var/lib/cloudera-scm-agent/cm_guid

###重启

agentcloudera-scm-agent restart
当 cdh -agent 遇到突然断电后 清除残余信息 也可以 照这样处理

电脑断电造成虚拟机（提示 Failed to mount xxx） 不能正常开机

修复命令：
xfs_repair -v -L /dev/dm-0
解决问题链接 ：
https://blog.csdn.net/u013938484/article/details/82865744

scm 启动失败 /var/lib/cloudera-scm-server doestn’t exits

mkdir -p /var/lib/cloudera-scm-server
chown -R cloudera-scm:cloudera-scm /var/lib/cloudera-scm-server
chmod 755 /var/lib/cloudera-scm-server

scm启动失败 Failed to send metrics.

看到其他博客说不影响使用 我就没管，后来证明 确实不影响，可以是虚拟机环境 不太稳定 。暂时没管

Unexpected error. Unable to verify database connection.

yum install -y libxslt-devel
参考链接：
https://blog.csdn.net/weixin_34293902/article/details/91907361
http://blog.itpub.net/31451369/viewspace-2153711/

安装CDH找不到java_home的错误

之前 我是把 java_home 配置到 /opt/java/ 目录下 后来cdh 安装程序有点问题，就参考其他 大佬 把目录老老实实移动到 /usr/java 下了，解决问题~
配置在 root用户的 ~/.bash_profile 中，/etc/profile 我这儿 是不管用

JAVA_HOME=/usr/java/jdk1.8.0_141
PATH=$PATH:$HOME/.local/bin:$HOME/bin:$JAVA_HOME/bin

参考链接：
https://blog.csdn.net/Elonyong/article/details/78716341

zk错误 Unable to access datadir, exiting abnormally

https://blog.csdn.net/hlp4207/article/details/89810619

mkdir /var/lib/zookeeper/version-2
chown zookeeper:zookeeper version-2/

cdh hive安装

Can’t open /opt/cm-5.14.2/run/cloudera-scm-agent/process/ccdeploy_hadoop-conf_etchadoopconf.cloudera.hdfs_-7037563218295240854/hadoop-conf/hive-env.sh: No such file or directory.

参考链接：
https://community.cloudera.com/t5/Support-Questions/Can-t-open-hadoop-conf-hive-env-sh-No-such-file-or-directory/m-p/84160

https://community.cloudera.com/t5/Support-Questions/Cloudera-manger-HBase-Deploy-Client-Configuration-fails/td-p/25431

https://cloud.tencent.com/developer/article/1349500