cdh 简介及安装教程

 简单来说，Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件）,使得安装集群从几天的时间缩短在几个小时内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。

cloudera manager有四大功能：
　　（1）管理：对集群进行管理，如添加、删除节点等操作。
　　（2）监控：监控集群的健康情况，对设置的各种指标和系统运行情况进行全面监控。
　　（3）诊断：对集群出现的问题进行诊断，对出现的问题给出建议解决方案。
　　（4）集成：对hadoop的多组件进行整合。

安装cdh之后可以直接在浏览器界面上管理集群主机，安装hadoop，hbase等

具体还可以参看 https://www.cnblogs.com/raphael5200/p/5293960.html

安装中注意问题：

（1）CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel为hadoop,hbase等软件的打包后的压缩包。其中CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel  CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha  manifest.json，三者最好放在/opt/cloudera/parcel-repo目下，因为浏览器安装过程中parcel默认路径为这个路径，否则找不到parcel还要修改路径。

 

（2）拷贝mysql的驱动 jar文件到目录 /usr/share/java/

注意jar包名称要修改为mysql-connector-java.jar

（3）必须要先启动/opt/cloudera-manager/cm-5.7.2/etc/init.d下的cloudera-scm-agent  cloudera-scm-server

 

(4) 提示安装失败 无法检测分配，或者检测到当前管理主机

请查看cloudera-scm-agent的日志/opt/cloudera-manager/cm-5.7.2/log/cloudera-scm-agent/cloudera-scm-agent.log

若出现ValueError: too many values to unpack  说明 agent无法被监听报错，修改如下

vim opt/cloudera-manager/cm-5.7.2/lib64/cmf/agent/build/env/lib/python2.7/site-packages/cmf-5.7.2-py2.7.egg/cmf/client_configs.py

for line in output.splitlines():
      if line.startswith("/"):
        #path, _, _, priority_str = line.rstrip().split(" ")
        #proposed fix for OPSAPS-38086
        thisLine = line.rstrip().split(" ")
        path = thisLine[0]
        priority_str = thisLine[-1]

 

        # Ignore the alternative if it's not managed by CM.
        if CM_MAGIC_PREFIX not in os.path.basename(path):

以下为安装教程

安装中遇到的问题：

初始化数据库时注意 ，会把数据库的账号密码存储到cm-5.1.3/etc/cloudera-scm-server/db.properties中

./scm_prepare_database.sh mysql cm -hlocalhost -uroot -p123456 --scm-host localhost scm scm scm
如果7180端口没有起来，看下cm-5.1.3/etc/cloudera-scm-server/db.properties的数据库配置

启动server看到ok后，要等一分钟左右才能访问浏览器页面

如果在安装页面只显示一个节点，则检查/home/hadoop/cm-5.1.3/lib/cloudera-scm-agent/uuid中的id是否是同一个id，如果是请改为不同重启agent
安装后hadoop，hive等等都在/opt/cloudera/parcels/CDH-5.1.3-1.cdh5.1.3.p0.12目录下

 

原文：https://www.jianshu.com/p/5d6c87413bc0?utm_campaign=maleskine&utm_content=note&utm_medium=seo_notes&utm_source=recommendation

说明：在本地虚拟机环境中进行CDH5.7.2集群的搭建，在搭建之前请先在虚拟机上装好三台CentOS7，三台内存分别为8g,2g,2g

准备

• JDK环境
  版本：jdk-8u101-linux-x64.rpm
  下载地址：oracle官网
• mysql
  rpm包：http://dev.mysql.com/get/Downloads/MySQL-5.6/MySQL-5.6.26-1.linux_glibc2.5.x86_64.rpm-bundle.tar
  jdbc连接包mysql-connector-java.jar:
  http://dev.mysql.com/downloads/connector/j/
• CDH安装相关的包
• cloudera