CDH、Cloudera Manager简介及离线安装步骤

最新推荐文章于 2024-08-16 15:24:10 发布

温文尔雅的流氓

最新推荐文章于 2024-08-16 15:24:10 发布

阅读量3k

点赞数

分类专栏： CDH

CDH 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

CDH是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，提供了Hadoop的核心，可扩展存储，分布式计算，基于Web的用户界面

Cloudera Manager是一个管理CDH的端到端的应用。它的作用是对CDH进行管理、监控、诊断和集成

安装前的准备：

①网络配置

②SSH免密钥登录

③防火墙关闭

④SELINUX关闭（setenforce 0 vi /etc/selinux/config (SELINUX=disabled)）

⑤安装JDK配置环境变量

⑥安装NTP 设置开机启动 chkconfig ntpd on 设置时间同步 ntpdate -u ntp.sjtu.edu.cn

⑦安装配置mysql GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123' WITH GRANT

OPTION;

⑧下载第三方依赖包 chkconfig、python (2.6 required for CDH 5)、bind-utils、psmisc、libxslt、zlib、sqlite、
cyrus-sasl-plain、cyrus-sasl-gssapi、fuse、fuse-libs、redhat-lsb

Cloudera Manager Server&Agent 安装

（1）安装 Cloudera Manager Server&Agent
拷贝 cloudera-manager-el6-cm5.4.3_x86_64.tar.gz 到所有 Server、Agent 节点
创建 cm 目录：mkdir /opt/cloudera-manager
解压 cm 压缩包：tar xvzf cloudera-manager*.tar.gz -C /opt/cloudera-manager
（2）创建用户 cloudera-scm （所有节点）
cloudera-scm 用户说明，摘自官网：
Cloudera Manager Server and managed services are configured to use the user account
cloudera-scm by default, creating a user with this name is the simplest approach. This created
user, is used automatically after installation is complete.
执行：useradd --system --home=/opt/cloudera-manager/cm-5.0/run/cloudera-scm-server --

no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

（3）配置 CM Agent

修改文件/opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini 中server_host 以及 server_port

（4）配置 CM Server 的数据库
将驱动包拷贝到目录下（注意拷贝过去的驱动包名字一定要和下边的一样，否则会报错）：
cp mysql-connector-java-5.1.31/mysql-connector-java-5.1.31-bin.jar /usr/share/java/mysql-
connector-java.jar
执行：
mysql> grant all on *.* to 'temp'@'%' identified by 'temp' with grant option;
cd /opt/cloudera-manager/cm-5.4.3/share/cmf/schema
./scm_prepare_database.sh mysql -h myhost1.sf.cloudera.com -utemp -ptemp --scm-host
myhost2.sf.cloudera.com scm scm scm
例如：./scm_prepare_database.sh mysql -h node1 -utemp -ptemp --scm-host node1 scm scm scm

（对应于：数据库类型、数据库服务器、用户名、密码、CMServer 所在节点…….）

mysql> drop user 'temp'@'%';
若上步失败或过程中操作中断，删除所有库、重头来过 /( ㄒ o ㄒ )/~~
若安装 Oozie 等组件可能需要手动创建对应组件所需的数据库，例如：
create database ooziecm DEFAULT CHARACTER SET utf8;
grant all on ooziecm.* TO 'ooziecm'@'%' IDENTIFIED BY 'ooziecm';

其他的建库及删库脚本见步骤五

（5）创建 Parcel 目录
Manager 节点创建目录/opt/cloudera/parcel-repo，执行：mkdir -p /opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
将下载好的文件（CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel、CDH-5.4.0-1.cdh5.4.0.p0.27-
el6.parcel.sha、manifest.json）拷贝到该目录下。
Agent 节点创建目录/opt/cloudera/parcels，执行：mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
（6）启动 CM Manager&Agent 服务
执行：Manager：/opt/cloudera-manager/cm-5.4.3/etc/init.d/cloudera-scm-server start
Agents：/opt/cloudera-manager/cm-5.4.3/etc/init.d/cloudera-scm-agent start
访问：http://ManagerHost:7180，若可以访问（用户名、密码：admin），则安装成功。
Manager 启动成功需要等待一段时间，过程中会在数据库中创建对应的表需要耗费一些时间。

CDH5 5 安装

CM Manager && Agent 成功启动后，登录前端页面进行 CDH 安装配置。

免费版本的 CM5 已经去除 50 个节点数量的限制。

各个 Agent 节点正常启动后，可以在当前管理的主机列表中看到对应的节点。选择要安装的节点，点继续。

接下来，出现以下包名，说明本地 Parcel 包配置无误，直接点继续就可以了。

点击，继续，如果配置本地 Parcel 包无误，那么下图中的已下载，应该是瞬间就完成了，然后就是耐心等待分配过程就行了，大约 10 多分钟吧，取决于内网网速。（若本地 Parcel 有问题，重新检查步骤三、 5 是否配置正确）

接下来是服务器检查，可能会遇到以下问题：
Cloudera 建议将 /proc/sys/vm/swappiness 设置为 0。当前设置为 60。使用 sysctl 命令在
运行时更改该设置并编辑 /etc/sysctl.conf 以在重启后保存该设置。您可以继续进行安装，
但可能会遇到问题，Cloudera Manager 报告您的主机由于交换运行状况不佳。以下主机受
到影响：通过 echo 0 > /proc/sys/vm/swappiness 即可解决。