CDH spark 部署客户端报错-生成客户端配置报错deploy client configuration fail
我是直接用tar 包解压安装的cloudera server和cloudera agent 的。
遇到这样的问题其实非常多,每次spark的客户端配置总不能成功部署,总是仅完成3/4 个步骤,首个失败,上的客户端配置 (id=3) 已使用 1 退出,而预期值为 0
在网上找了很久,看见有大神是这样做的。
1.首先我们需要找到此处日志目录,并不是/opt/cm-5.5.0/log。针对使用tar.gz包进行离线安装的目录,日志应该在:/opt/cm-5.5.0/run/cloudera-scm-agent/process/ccdeploy_spark-conf_etcsparkconf.cloudera.spark_-6842105649195360849/logs,因为我是在spark这一步进行部署客户端配置失败的时候出错的,所以就找的spark这一文件夹下的日志。如果是使用.bin包安装的,则有可能是在/var/run/cloudera-scm-agent/process/目录下。找到日志文件之后,
应该能在日志文件中找到:export JAVA_HOME=/usr/java/default、JAVA_HOME=/usr/java/default、Error: JAVA_HOME is not set and could not be found等关键词,
所以明确了是jdk没有装好,为什么没装好,因为我的是使用tar.gz的jdk包安装的,没有往/usr/java中添加软链