【CDH】- 搭建以及安装服务错误汇总 [更新中..]

• HDFS-副本不足的块

• 解決方法

1. 更改 dfs. replication （这个的个数 是和你 DataNode的 个数一致）
   
2. 在 主节点上 输入如下命令即可

su  hdfs
hadoop fs -setrep -R 2 /

• 首次运行命令部署spark客户端配置报 Failed to deploy client configuration to the cluster.仅完成 0/3 个步骤。首个失败：主机 node1 (id=1) 上的客户端配置 (id=2) 已使用 1 退出，而预期值为 0

• 解决方法：

find / -type f -name "*cc.sh"

编辑 不要无脑直接复制命令！

vim /opt/cm-5.12.1/lib64/cmf/service/client/deploy-cc.sh

直接在文件最上面加上

JAVA_HOME=/app/jdk1.8.0_144
export JAVA_HOME=/app/jdk1.8.0_144

所有节点都这样设置一下！

然后刷新页面再点击重试，否则会出现下面很无脑的报错

• spark启动出错命令行执行spark-submit，报错

java.lang.IllegalArgumentException: 
Required executor memory (1024+384 MB) is above the max threshold (1024 MB) of this cluster! 
Please check the values of 'yarn.scheduler.maximum-allocation-mb' 
and/or 'yarn.nodemanager.resource.memory-mb'

在Yarn中同时修改上述两个参数的值，调整到2G 。

• yarn job history 起不来

报“Service org.apache.hadoop.mapreduce.v2.hs.JobHistoryServer failed in state INITED; 
cause: org.apache.hadoop.yarn.exceptions.YarnRuntimeException: 
Error creating done directory: [hdfs://node1:8020/user/history/done]”

原因：dfs目录权限不够
解决办法 ：

chmod -R 777 /dfs

• 首次运行命令，创建oozie数据库表失败主机 node1 (id= 1) 上的进程 oozie-OOZIE-SERVER-createdbtables (id=57) 通过 1 退出并预期 0

原因 ：oozie缺少mysql驱动

cp /app/cdh5.12.1/mysql-connector-java-5.1.44-bin.jar /var/lib/oozie

• 【持续更新 …】