CDH配置显示计算机错误,CDH常见问题及解决方法（待续）

启动CDH提示Deploy Client configuration fail

原因：

依赖包perl未安装

yum install -y perl

自用脚本中的yum操作所需依赖包，仅做参考

yum -Cy install wget bind-utils psmisc libxslt zlib sqlite cyrus-sasl* fuse portmap fuse-libs redhat-lsb

yum -Cy install ntp gcc python-devel psmisc perl

找不到JDK

原因：

CDH不会使用系统默认JAVA_HOME环境变量，而是使用Bigtop进行管理，故我们需要安装Bigtop的规则在指定的位置安装jdk

配置在这里：

cloudera-manager-centos7-cm5.11.1_x86_64\cm-5.11.1\lib64\cmf\service\common\cloudera-config.sh

其中可以看到：

local JAVA8_HOME_CANDIDATES=(

'/usr/java/jdk1.8'

'/usr/java/jre1.8'

'/usr/lib/jvm/j2sdk1.8-oracle'

'/usr/lib/jvm/j2sdk1.8-oracle/jre'

'/usr/lib/jvm/java-8-oracle'

)

建立一个已经有的JAVA_HOME 链接到 /usr/java/jdk1.8

CDH离线安装组件(如Kudu)

将资源parcel文件、parcel.sha和manifest文件放到/parcel-repo文件夹下，其中manifest可以共享多个资源索引

CDH创建Mysql数据库时能找到服务器找不到数据库

在创建新的数据库后应运行以下语句来修改数据库访问权限

mysql -uroot -p1234 -e"GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '1234' WITH GRANT OPTION;FLUSH PRIVILEGES;"

Cloudera 建议将 /proc/sys/vm/swappiness 设置为最大值 10。当前设置为 30

echo "vm.swappiness=10" >> /etc/sysctl.conf

已启用透明大页面压缩，可能会导致重大性能问题

echo "echo never > /sys/kernel/mm/transparent_hugepage/defrag" >> /etc/rc.local

echo "echo never > /sys/kernel/mm/transparent_hugepage/enabled" >> /etc/rc.local

chmod +x /etc/rc.d/rc.local

自启动CDH挂掉

原因:ip地址映射错误

Mysql服务未启动

CDH安装Yarn时NodeManager启动失败

Error starting NodeManagerorg.apache.hadoop.service.ServiceStateException:

org.fusesource.leveldbjni.internal.NativeDB$DBException:

IO error: /var/lib/hadoop-yarn/yarn-nm-recovery/yarn-nm-state/LOCK: 权限不够

方法一：修改目录权限

chmod -R 755 /var/lib/hadoop-yarn/

方法二：删除该对应子目录重试CDH添加服务操作

CDH内存不足超过阈值

调整主机配置参数 默认0.8 剩余内存为系统占用(可调整优化)

CDH NameNode 检查点错误

由于某种原因，需要在原来已经部署了Cloudera CDH集群上重新部署，重新部署之后，启动集群，由于Cloudera Manager 会默认设置dfs.namenode.checkpoint.period和dfs.namenode.checkpoint.txns分别是1个小时和1000000。只要达到这两个条件之一，secondarynamenode会执行checkpoint操作，此时会出现如下的问题：

ERROR：The health test result for NAME_NODE_HA_CHECKPOINT_AGE

has become bad: The filesystem checkpoint is 4 hour(s) old.

This is 401.25% of the configured checkpoint period of 1 hour(s).

解决方法：

删除fs.checkpoint.dir, dfs.namenode.checkpoint.dir的值的路径

在CDH中HDFS配置中搜索checkpoint可以找到(默认/dfs/snn)

impala 导入文件报错

Error parsing row: file: hdfs://master:8020/input3/branchproject.csv, before offset: 1263429

调整impala内存大小