CDH 安装遇到的问题

CDH 安装遇到的问题

 

CDH  遇到的问题

l JAVA_HOME问题

 

这里， 很明显可以看到， JAVA_HOME 并没有设置成功。using  as ... 感觉完全就是没有设置JAVA_HOME 这个环境变量。可是呢？ 我确实是设置了JAVA_HOME 的，而且在linux shell 执行 echo $JAVA_HOME  也是有输出的。 百思不得其解。

 

后面偶然注意到， 其实是Bigtop 的原因： 由于CDH不会使用系统默认JAVA_HOME环境变量，而是使用Bigtop进行管理，故我们需要安装Bigtop的规则在指定的位置安装jdk。

配置在这里： cloudera-manager-centos7-cm5.11.1_x86_64\cm-5.11.1\lib64\cmf\service\common\cloudera-config.sh

其中可以看到：

local JAVA8_HOME_CANDIDATES=(
'/usr/java/jdk1.8'
'/usr/java/jre1.8'
'/usr/lib/jvm/j2sdk1.8-oracle'
'/usr/lib/jvm/j2sdk1.8-oracle/jre'
'/usr/lib/jvm/java-8-oracle'
)

 

于是，建立一个已经有的JAVA_HOME  链接到 /usr/java/jdk1.8 就好了！

 

 

l Mysql-jdbc驱动找不到

可能是CDH软件本身问题，我们需要在多个位置(主要是 hadoop、 hbase、spark 等的 lib 目录 )保持Mysql-jdbc驱动拷贝，这个工作必须手动完成。很多服务都会跟数据库打交道，都需要Mysql-jdbc驱动，但是CDH默认可能并没有附带一个相应的驱动。

l Master节点看不到其他从节点，或者连不上从节点,或者每次刷新页面，会有不同从节点出现。

首先看从节点的cm-agent是否配置正确( 百分之八十就是这个原因)，启动是否有异常，然后再看防火墙、Selinux是否关闭，SSH免密是否ok，再看网络问题，以及主从各节点的系统负载是否过高导致响应很慢。

 

l 安装CDH耗时很长很长很长，而且最终还是失败

CM和CDH的版本必须是一样的，要一模一样，否则就会导致重新下载，下载的话，通常非常耗时，而且各种奇怪问题出现。

 

l 安装好后，访问管理界面，但是出现：Host Monitor和Service Monitor服务无法启动

 

 

CM 需要用到数据库，安装/启动CM之前，我们就应该先创建好各数据库，然后再安装CDH 过程中，我们需要正确填写。

 

l 机器变得很卡

CM 的Server 、 Agent启动后，机器变得很卡，那么我们就需要增加机器配置。这取决于我们安装的服务具体有哪些： 

 

 

在CDH 安装过程中，我们选择了所有服务，故CDH 一次性把上面的都安装好了，但是，通常我们并需要这么多服务， 于是我们可以关掉其中一些服务。 另外， 如果确实需要运行这么多服务， 我们可以增加机器内存等配置。

 

因为安装了很多的服务，这些服务都是很好内存的，2G 内存是不够的， 我这里给每个节点分配4G 内存后感觉就好狠多了。

posted on 2017-09-11 09:50 CanntBelieve 阅读( ...) 评论( ...) 编辑 收藏

转载于:https://www.cnblogs.com/FlyAway2013/p/7503524.html