安装Cloudera Manager-5.12.2 集成 CHD-5.12.2 问题总结

BUG一：

安装 Hive 的时候可能会报错，因为我们使用了MySql 作为 hive 的元数据存储，hive 默认没有带 mysql 的驱动，通过以下命令拷贝一就行了：

cp /opt/cm-5.12.2/share/cmf/lib/mysql-connector-java-5.1.33-bin.jar
/opt/cloudera/parcels/CDH-5.12.2-1.cdh5.12.2.p0.4/lib/hive/lib/

---

---

BUG二：

问题：

• 首先我们需要找到此处日志目录，并不是/opt/cm-5.12.2/log。
• 针对使用tar.gz包进行离线安装的目录，日志应该在：/opt/cm-5.12.2/run/cloudera-scm-agent/process/ccdeploy_spark-conf_etcsparkconf.cloudera.spark_-6842105649195360849/logs，因为我是在spark这一步进行部署客户端配置失败的时候出错的，所以就找的spark这一文件夹下的日志。如果是使用.bin包安装的，则有可能是在/var/run/cloudera-scm-agent/process/目录下。
• 找到日志文件之后，你应该能在日志文件中找到：

export JAVA_HOME=/usr/java/default、 JAVA_HOME=/usr/java/default、
Error: JAVA_HOME is not set and could not be found等关键词

所以明确了是jdk没有装好，为什么没装好，因为我的是使用tar.gz的jdk包安装的，没有往/usr/java中添加软链接，而这里默认是去/usr/java/default中找环境变量，才会报找不到java_home。
* 安装jdk的方法:

1> 把JDK软连接到/usr/java/default首先查看是否有/usr/java目录
2> 没有的话新建此目录：mkdir /usr/java
3> 然后添加软连接到/usr/java/default

命令如下:

    ln -s /home/monitor/apps/jdk1.7.0_45 /usr/java/default

解决：

---

---

BUG三：

问题错误：

Caused by: MetaException(message:Versioninformation not found in metastore. )

或

Caused by: javax.jdo.JDODataStoreException:Required table missing : “VERSION” in Catalog “” Schema”“. DataNucleus requires this table to perform its persistenceoperations.
Either your MetaData is incorrect, or you need to enable”datanucleus.autoCreateTables”

原因分析：

datanucleus.autoCreateSchema=true

表示在操作JDO API的时候对应的数据库表还没有创建的话会根据实体的元数据自动创建表

另外hive.metastore.schema.verification这个参数：
防止架构版本不兼容时的 Metastore 操作。考虑将此设置为“True”，以减少 Metastore 操作期间发生架构损坏的可能性
注意，将此属性设置为“True”，还会将 datanucleus.autoCreateSchema 属性设置为“False”
解决方案：

修改CDH中hive的配置:

datanucleus.autoCreateSchema=true
datanucleus.metadata.validate=false
hive.metastore.schema.verification=false

修改后重启，解决！

---

---

BUG四：

Cloudera 建议将 /proc/sys/vm/swappiness 设置为 0。当前设置为 60。使用 sysctl 命令在
运行时更改该设置并编辑 /etc/sysctl.conf 以在重启后保存该设置。您可以继续进行安装，但可能 会遇到问题，Cloudera
Manager 报告您的主机由于交换运行状况不佳。以下主机受到影响：
echo 0 > /proc/sys/vm/swappiness
即可解决。 还要注意 JDK 的版本。

---

---

BUG五：

1、找不到hash，说明版本不对应，更换
2、Kafka服务添加启动报错：修改配置（关键词搜索memory或者Java Heap）文件，重新启动

---

---

BUG六：
安装完成后，便可以在添加服务里，添加kafka服务了。这里如果遇到最后一步，启动kafka的时候，失败报错如下：

Fatal error during KafkaServerStartable startup. Prepare to shutdown
java.lang.OutOfMemoryError: Java heap space at
java.nio.HeapByteBuffer.(HeapByteBuffer.java:57) at
java.nio.ByteBuffer.allocate(ByteBuffer.java:335) at
kafka.log.SkimpyOffsetMap.(OffsetMap.scala:43) at
kafka.log.LogCleaner$CleanerThread.(LogCleaner.scala:186) at kafka.log.LogCleaner anonfun$1.apply(LogCleaner.scala:83)atkafka.log.LogCleaneranonfun$1.apply(LogCleaner.scala:83)atkafka.log.LogCleaner anonfun$1.apply(LogCleaner.scala:83)

这是因为 Java Heap Size配置小了（奇怪的是安装kafka的时候它也没提示我设置啊，简直怪了），
这里如下解决：
回到CDH主页面，点击 kafka，进入配置页面，修改

Java Heap Size of Broker 为 1G

如图：保存，重启KAFKA，OK

---

---

BUG七：
问题：zookeeper集群 时间不同步：
搭建NTP服务器，单独同步时间，不然zookeeper会一直不稳定的在报错：
详细的安装步骤：
查看网址：搭建NTP时间同步服务器教程