【大数据开发必看】CDH版本的大数据集群搭建

1. CDH和ClouderaManager简介

1.1 CDH版本的集群和Apache版本对比

• apache版本：

  • 优点：开源，更新快
  • 缺点：部署过程复杂（组件版本的兼容性）这里有一个实际的例子可以列举，在学习HBase的时候，当时想要将数据读到Hive中，在这两个版本之间的兼容上十分麻烦；没有统一化管理界面；

• cdh版本：

  • 优点：统一化的可视化管理界面；部署过程简单
  • 缺点：CM的server和agent需要占用额外的内存和cpu

1.2 CDH介绍

• CDH是Apache Hadoop和相关项目中最完整、最稳定、经过测试和最流行的发行版

1.3 ClouderaManager介绍

• 简介：CM是用于管理CDH集群的软件，使用CM可以轻松部署。

• 架构：

• Server：管理控制台 web 服务和应用程序逻辑，并负责软件的安装、配置、服务的启动与关闭以及管理集群。

• Agent：安装在每台主机上。它负责启动和停止进程，解压缩配置，触发安装和监控主机

• Management Service：执行各种监控、报警和报告功能的一组角色的服务。

• Database：存储配置和监控信息

• Cloudera Repository：可供Cloudera Manager分配的软件的存储库

• Client：用于与服务器进行交互的接口

• Admin Console：管理员控制台

• API：开发人员使用 API可以创建自定义的Cloudera Manager应用程序

• 功能：

  • 集群自动化安装
  • 中心化管理
  • 集群监控
  • 报警

2. CM安装

下载好 ClouderaManager （一个tar.gz包）和 离线库（CDH，一共三个文件）

cdh集群的安装是 在CM安装之后，进入web管理界面，先安装hadoop等软件，然后配置hadoop等服务

• 步骤

  1. 解压tar.gz包
  2. 创建cloudera-scm用户
  3. 配置CM agent
  4. 配置CM的数据库
  5. 分发配置好的文件
  6. 创建/opt/cloudera/parcel-repo目录（CM安装集群的时候会调用这个离线库）
  7. 将CDH相关的三个文件放入该目录
  8. 创建/opt/cloudera/parcels目录 （后面安装的软件都会放在这个目录下）
  9. 分发parcel-repo文件

• 启动CM server&agent服务

  • server
    • /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-server start
  • agent
    • /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-agent start
  • web访问：http://主机名:7180 【用户名和密码: admin】