Centos7部署CDH5(二)：部署与组件安装

本教程搭建分三篇完成：
Centos7部署CDH5(一)  https://blog.csdn.net/u014635374/article/details/105837359

Centos7部署CDH5(二)  https://blog.csdn.net/u014635374/article/details/105840505

Centos7部署CDH5(三)  https://blog.csdn.net/u014635374/article/details/105840582

master机器上的设置

一: SSH登录docker-01机器，执行以下操作：

(1)安装mariadb：

[root@docker-01 ~]#  yum install mariadb-server

(2)启动mariadb服务，并设置为开机启动

[root@docker-01 ~]#  systemctl start mariadb && systemctl enable mariadb

(3)初始化数据库配置：

[root@docker-01 ~]# mysql_secure_installation

初始化root密码报错

解决方案:

[root@docker-01 ~]# systemctl stop mariadb.service

[root@docker-01 ~]# mysqld_safe --user=mysql --skip-grant-tables --skip-networking &

后台启动

Ctrl +c

[root@docker-01 ~]# mysql -u root mysql  

修改root的密码为123456

MariaDB [mysql]> UPDATE user SET PASSWORD=PASSWORD('123456') where USER='root';

reboot 重启机器

如果执行无报错:按照控制台提示进行设置，主要是设置root账号的密码，以及允许root账号远程登录；

(4)给root的远程操作开放所有权限，并且刷新：
MariaDB [(none)]> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;
Query OK, 0 rows affected (0.01 sec)

MariaDB [(none)]> flush privileges;
Query OK, 0 rows affected (0.00 sec)
(5)创建parcel的本地仓库的文件夹，并且设置所有者和群组：

[root@docker-01 ~]# mkdir -p /opt/cloudera/parcel-repo
[root@docker-01 ~]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

(6)将前面下载好的三个文件放入目录/opt/cloudera/parcel-repo，这三个文件是：CDH-5.7.2-1.cdh5.7.2.p0.5-el7.parcel、manifest.json、CDH-5.7.2-1.cdh5.7.2.p0.5-el7.parcel.sha

[root@docker-01 tools]# cp -r CDH-5.7.2-1.cdh5.7.2.p0.5-el7.parcel CDH-5.7.2-1.cdh5.7.2.p0.5-el7.parcel.sha manifest.json  /opt/cloudera/parcel-repo/

(8)接下来初始化CM数据，登录mariadb,给hadoopcdh账号赋予权限，并且刷新：

MariaDB [(none)]>create user 'hadoopcdh'@'docker-01' identified by 'hadoopcdh';
Query OK, 0 rows affected (0.00 sec)

MariaDB [(none)]> create user 'hadoopcdh'@'docker-01' identified by 'hadoopcdh';
Query OK, 0 rows affected (0.00 sec)

MariaDB [(none)]> flush privileges;
Query OK, 0 rows affected (0.00 sec)

(9)退出mariadb交互

(10)进入目录/opt/cloudera-manager/cm-5.7.2/share/cmf/schema/

[root@docker-01 parcel-repo]# cd /opt/cloudera-manager/cm-5.7.2/share/cmf/schema/
(11)执行以下命令即可初始化CM的数据：

[root@docker-01 parcel-repo]# cd /opt/cloudera-manager/cm-5.7.2/share/cmf/schema/

[root@docker-01 schema]#

./scm_prepare_database.sh mysql hadoopcdh -h docker-01 -uhadoopcdh -phadoopcdh --scm-host docker-01 scm scm scm

日志如下:
JAVA_HOME=/usr/lib/jvm/jdk1.8.0_192
Verifying that we can write to /opt/cloudera-manager/cm-5.7.2/etc/cloudera-scm-server
Creating SCM configuration file in /opt/cloudera-manager/cm-5.7.2/etc/cloudera-scm-server
Executing:  /usr/lib/jvm/jdk1.8.0_192/bin/java -cp /usr/share/java/mysql-connector-java.jar:/usr/share/java/oracle-connector-java.jar:/opt/cloudera-manager/cm-5.7.2/share/cmf/schema/../lib/* com.cloudera.enterprise.dbutil.DbCommandExecutor /opt/cloudera-manager/cm-5.7.2/etc/cloudera-scm-server/db.properties com.cloudera.cmf.db.
[                          main] DbCommandExecutor              INFO  Successfully connected to database.
All done, your SCM database is configured correctly!
 

第一个表示数据库名: hadoopcdh   scm/scm 最后两个为账号/密码

其他节点上的设置

(1)创建本地parcel缓存文件夹：

[root@docker-02  ~]# cd  /opt/cloudera-manager/cm-5.7.2/etc/init.d/

(2)给文件夹赋权限：

[root@docker-02 init.d]# mkdir -p /opt/cloudera/parcels

[root@docker-02 init.d]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

其他节点,都做上述设置,接下来就可以启动CDH了

启动server(master机器)

         SSH登录master(docker-01)；

         进入启动命令所在目录

 [root@docker-01 ~]#  cd /opt/cloudera-manager/cm-5.7.2/etc/init.d/

         启动server：

 [root@docker-01 init.d]#   ./cloudera-scm-server start 

  

 启动agent(其他机器节点)

1. SSH登录其他节点；
2. 进入启动命令所在目录

 [root@docker-02 ~]# cd  /opt/cloudera-manager/cm-5.7.2/etc/init.d/

     3.启动agent：

  [root@docker-02 ~]#   ./cloudera-scm-agent start

  启动成功的提示信息如下：

  

 然后登录登录其他节点，重复上述操作；

  至此，CDH部署和启动完成，可以开始设置了；

  设置CDH

   浏览器访问地址：http://192.168.227.131:7180/ ，会提示登录，账号和密码都是admin：

 至此,基本搭建完成，继续下一步....

点击检索:

点击继续：

选择如上图所示,点击继续:

别打钩，使用我们自己装的jdk,继续：

点击继续：

继续：（网络好的时候安装呀，不然安装包无法下载）