rancher搭建cdh6.2大数据平台

前言说明

	最近部署cdh大数据平台，搜索相关资料发现基于docker部署的文章都相对复杂或存在缺失或不可行，所以请教同事后自行制作镜像，方便以后项目部署使用。
	本次部署基于rancher2.5.9方式进行搭建，前提你了解rancher,如不了解可自行百度，基于docker镜像，将cdh分为4个镜像包，分别是master、agent、mysql、ntpt,镜像基于centos7.9制作

具体操作

1. 搭建方式

rancher集群k8s离线搭建cdh6.2.0，rancher部署参考

2. 搭建完成结构图

3. 推荐最低配置运行环境

	CPU4核8线程 内存空余30G以上

4. 搭建步骤搭建步骤

• 基于rancher创建项目与命名空间

• ntpd的镜像为: seznam/ntpd:latest

• 将下载后的文件执行加入docker镜像中心或者仓库，解压缩命令如下：

• docker load -i cdh-mysql.6.2.0.tar.gz 其他两个类同

• rancher搭建的工作负载名称完全参考第3步骤中的的名称，不可更换其他，如需更改，需调整镜像中的相应位置参数agent节点可随意起名称

• rancher部署时，请注意以下图中内容填写：
  1、入口 (Entrypoint)：/usr/sbin/init（此步可以制作至镜像中）
  

  2、打开特权模式
  

• 配置对外端口服务发现（用到什么端口开放什么端口即可）
  

5. 启动顺序

	- 先启动	ntpd、	cdh-mysql，在启动	cdh-master，最后启动节点	cdh-agent
	- 启动cdh-master时需要等server完全启动好后方可启动其他
	- 进入cdh-master中执行tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log
	- 当输出日志包含Started jetty server时则代表服务启动成功
	- cdh管理端端口：默认7180  如rancher配置了对外服务端口为32120那么对外访问端口则为32120
	- cdh管理端账户：admin/admin  
	- mysql数据库账户：root/Root@123

6. 工作节点添加

	直接再次启动一个cdh-agent后，进行添加主机节点即可

7. 持久化存储

	由于镜像每次启动会是全新的，所以需要进行持久化存储，对应镜像持久化存储路径如下：（不一定齐全）
	- cdh-mysql:
			- 存储路径：/var/lib/mysql/
			- 配置文件路径：/etc/my.cnf
	- cdh-master:
			- cloudera：    /opt/cloudera
			-HDFS ：         /hbase
			-HDFS ：         /data/dfs/nn
			-HDFS ：         /data/dfs/snn
			-HDFS ：         /data/dfs/dn
			-hive:             /user/hive/warehouse
			-cloudera:      /var/lib/cloudera-host-monitor
			-cloudera:      /var/lib/cloudera-service-monitor
			-oozie:           /user/oozie
			-oozie:           /var/lib/oozie/data
			-yarn:            /data/yarn/nm
			-zookeeper:   /var/lib/zookeeper
			-kafka:          /var/local/kafka/data
			
	- cdh-agent:

以上内容目录暂不齐全，建议直接将/var、/etc、/opt、/root、/run、/usr全部隐射至外部服务器，由于此镜像为只有cdh的裸镜像，cdh在添加节点时会安装服务、所以讲上述几个目录隐射到本机即可，后续会考虑出安装后的docker镜像

8. 集群创建完成后执行以下命令

hdfs dfs -mkdir /sqoop
测试hdfs是否正常
hadoop dfsadmin -safemode leave
退出安全模式

9. 端口

主要开放cdh-master的端口

1、访问页面的UI

服务	端口
Hbase	60010
Yarn	8088
Azkaban	8081
Hue	8889
Spark	18089
Hdfs	50070
CM	7180

2、其他端口

服务	端口
Cloudera Manager	7180 7183 7182 7432 9000 9001 7184 7185 8084 10101 8086 9997 9996 8087 9999 9998 8090 9995 9994 5678 8083 7186 7187 4867
NameNode 8022
CDH节点	50010 1004 50075 1006 50020 8020 50070 50470 50090 50495 8485 8480 8021 50030 9290 50060 0 8032 8030 8031 8033 8088 8040 8042 8041 10020 19888 60000 60010 60020 60030 2181 2888 3888 8080 8085 9090 9095 9090 9083 10000 16000 12000 12001 3181 4181 8019 9010 8888 8002 8003 11000 11001 7077 7078 18080 18081 14000 14001 9000
jobtracker节点	8023
zookeeper节点	2888
impala节点	21000 21050 22000 23000 25000 25010 25020 24000 26000 28000 15002 15000 15001
solr节点	8983 8984
NTP防火墙	123
httpd防火墙	80
MySQL防火墙	3306

10. docker镜像下载地址

	链接: https://pan.baidu.com/s/12sm9otIPvnWRxa-IUslOGg 提取码: n366 

11. 后续补充学习教程。。。待续