cdh必须要在root用户搭建吗_CentOS7 Cloudera Manager6 完全离线安装 CDH6 集群

本文是在CentOS7.4 下进行CDH6集群的完全离线部署。CDH5集群与CDH6集群的部署区别比较大。

说明：本文内容所有操作都是在root用户下进行的。

文件下载

首先一些安装CDH6集群的必须文件要先在外网环境先下载好。

Cloudera Manager 6.3.0

[root@node01 upload]# tree cloudera-repos/

cloudera-repos/

├── allkeys.asc

├── cloudera-manager-agent-6.3.0-1281944.el7.x86_64.rpm

├── cloudera-manager-daemons-6.3.0-1281944.el7.x86_64.rpm

├── cloudera-manager-server-6.3.0-1281944.el7.x86_64.rpm

├── cloudera-manager-server-db-2-6.3.0-1281944.el7.x86_64.rpm

├── enterprise-debuginfo-6.3.0-1281944.el7.x86_64.rpm

└── oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm

MySQL JDBC驱动

要求使用5.1.26以上版本的jdbc驱动，可mysql-connector-java-5.1.47.tar.gz

配置Cloudera Manager yum库

注意：不要尝试使用FTP搭建CM的YUM库！

首先安装httpd和createrepo：

yum -y install httpd createrepo

启动httpd服务并设置开机自启动：

systemctl start httpd

systemctl enable httpd

然后进入到前面准备好的存放Cloudera Manager RPM包的目录cloudera-repos下：

cd /data6/upload/cloudera-repos/

生成RPM元数据：

createrepo .

chmod 777 -R cloudera-repos

然后将cloudera-repos目录移动到httpd的html目录下：

mv cloudera-repos /var/www/html/

确保可以通过浏览器查看到这些RPM包：

接着在创建cm6的repo文件(每个节点都需要配置)：

cd /etc/yum.repos.d

vim cloudera-manager.repo

添加如下内容：

[cloudera-manager]

name=Cloudera Manager 6.3.0

baseurl=http://node01/cloudera-repos/

gpgcheck=0

enabled=1

保存，退出,然后执行yum clean all && yum makecache命令：

[root@master02 ~]# yum clean all && yum makecache

Loaded plugins: fastestmirror, langpacks

Cleaning repos: ChinaUnicom-Packages cloudera-manager

Cleaning up everything

Maybe you want: rm -rf /var/cache/yum, to also free up space taken by orphaned data from disabled or removed repos

Loaded plugins: fastestmirror, langpacks

ChinaUnicom-Packages | 3.6 kB 00:00:00

cloudera-manager | 2.9 kB 00:00:00

(1/7): ChinaUnicom-Packages/group_gz | 156 kB 00:00:00

(2/7): ChinaUnicom-Packages/filelists_db | 3.1 MB 00:00:00

(3/7): ChinaUnicom-Packages/primary_db | 3.1 MB 00:00:00

(4/7): ChinaUnicom-Packages/other_db | 1.2 MB 00:00:00

(5/7): cloudera-manager/filelists_db | 118 kB 00:00:00

(6/7): cloudera-manager/other_db | 1.0 kB 00:00:00

(7/7): cloudera-manager/primary_db | 8.6 kB 00:00:00

Determining fastest mirrors

Metadata Cache Created

安装Cloudera Manager Server

这一步只需要在CM Server节点上操作。 执行下面的命令：

# 安装openjdk8

yum install oracle-j2sdk1.8

# 安装 cm manager(只需在server节点安装)

yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server将会需要很多依赖包，所以说还是有必要搭一个局域网内yum源的，或者手动安装rpm包

配置本地Parcel存储库

Cloudera Manager Server安装完成后，进入到本地Parcel存储库目录：

cd /opt/cloudera/parcel-repo

将第一部分下载的CDH parcels文件上传至该目录下，然后执行修改sha文件：

mv /data6/upload/parcels/* /opt/cloudera/parcel-repo/

mv CDH-6.3.0-1.cdh6.3.0.p0.1279813-el7.parcel.sha1 CDH-6.3.0-1.cdh6.3.0.p0.1279813-el7.parcel.sha

然后执行下面的命令修改文件所有者：

chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

最终/opt/cloudera/parcel-repo目录内容如下：

├── CDH-6.3.0-1.cdh6.3.0.p0.1279813-el7.parcel

├── CDH-6.3.0-1.cdh6.3.0.p0.1279813-el7.parcel.sha

└── manifest.json

安装数据库

MySQL的安装