HDP3.3.2.0-002实践试范（0）

概述（感谢hidataplus的共享共建，才有今天的分享^_^）

非常感谢hidataplus团队把HDP核心组件升级到最新并集成很多好用的组件，如’Dolphin Scheduler‘ doris flink hue impala ozone seatunnel spark3。
非常感谢。。。
非常感谢。。。
非常感谢。。。
在cdh与hdp合并后，只能免费选用hdp3.1.5或cdh6.3.2；或付费CDP7了。
可能是物以类聚吧，我发现的HDP 3.3这关键字，于是就有了一系列的了解，互换微信，频频互动，反馈问题，提出建议。
了解越多，要求也变得多了。不意间，觉得自己是不是过了(找出好多问题，也提出建议)。哈哈。
因为hidataplus现有团队3人左右。是业余时间投入的。所以人力、精力都有限。不能面面具具到，这也能理解。经我好几版的试用再试用。评价是不错了。非常适合激进学习。用于生产应用嘛，这就看个人功力与企业综合评估了。
几人的团队累计做到这成果，是很不错的。再次非常感谢hidataplus的提供。让我能在一个新的、高的数据平台底座去构建大数据平台。
hdp 3.3 目前都是免费提供公测，并非开源。也没形成社区。出于对hidataplus免费提供的感谢，同时支持hidataplus对大数据平台国产化的想法。希望多些人了解，关注。赋能hidataplus的健壮成长。就有了本文了。

本文目的：路演HDP3.3.0.0-002的安装，助力hidataplus作品《HDP3.3》成长

过往使用3.1版本时都会把atlas ranger等放后面装，遇到提示安装都会忽略。后果是当补装ranger后，出现很多权限问题（默认配置没有放权）。
本次有规划而来：会正规正矩先装atlas、ranger; 讲述0到1的演进试范（好用就好用，不好用就爆露了哈，动手起来...）。从1台（了解试玩）扩展到3台（入门），再扩展到6台（实践），再扩展到8+台（企业级要求）。

所以本文不是最佳实践试范，只能算是一个例子。一个从不会到会的例子。希望这例子对大家在实践中构思《实践规划》有帮助。
说其是实践试范。也有点像测试验收。。。^_^	

服务器规划思路

HDP-3.3 了解阶段：1节点部署ambari要个印象。
HDP-3.3 入门级(数仓)：3+节点部署ambari没问题,hdfs,yarn,hive,flume,datax,ds
HDP-3.3 进阶级(master/slave)：5+节点2-3 zk,hdfs,yarn,hive,hbase,kafka,sqoop,hue
HDP-3.3 中等规模级(离+实+统一认证+数据治理)：7+点节2-2-3 zk cluster,hdfs ha,yarn ha,hive ha,hbase ha,ds ,impala,flink,seatunnel,doris,kerberos
HDP-3.3 大企业级(流批+湖仓+统一用户+统一认证+统一权限&审计+统一访问控制+Hadoop体系安全保障 +数据治理)：9+节点3-2-4 Metrics,Log Search,ldap,knox,atlas,kerberos,ranger,solr
CDP-7.x 付费企业级(流批+湖仓+统一用户+统一认证+统一权限&审计+统一访问控制+Hadoop体系安全保障 +数据治理)：9+节点3-2-4 CDP+SDX

100以上节点优化：1，开启 nscd 绶存，2，AMBARI_JVM_ARGS 3， 调整 JDBC 连接池设置，4，db-purge-history ，5，Customizing Ambari Log + PID Directories

规划了8台vm（3+3+2）

3台（ambari 节点） master : 【ambari，master ，metrics】
3台（ambari 节点） slave:【slave123 ，slave124 ，slave125 】
2台（非ambari 节点）用户与认证,其它【ipa/kdc ，ipa2/kdc2】

版本	*.tssj.com	ambari	master	metrics	slave123	slave124	slave125	kdc ipa	kdc2 ipa2
	192.168.1.*	120	121	122	123	124	125	113	114
2.7.6.0	Ambari	√
0.2.0	Metrics Collector Grafana			√
0.5.0	Log Search			√
14	Postgresql		√
4	Pgadmin		√
3.8.1	Zookeeper				√	√	√
3.5.1	Kafka				√	√	√
7.4.0	Kafka Schema-Registry			√
3.3.6	HDFS	nn fc	nn fc httpfs		dn jn	dn jn	dn jn
3.3.6	YARN	rm ts-r y-dns	rm ts		nm	nm	nm
3.3.6	RM2		hs
0.10.2	Tez	√	√	√	√	√	√
0.10.2	Tez UI (TezUIAssistant)		√
3.1.3	Hive	hms hs2	hms hs2
2.5.5	HBase	hm	hm		rs	rs	rs
1.10.1	flume	√	√
6.0.8	Redis			√
1.29.2	Maxwell			√
202309	dataX			√
1.4.7	Sqoop	√	√
2.4.8	Spark2	his
2.3.0	Atlas	ams	ams
2.4.0	Ranger	radmin	radmin rusersync				rtag
2.4.0	Ranger KMS		√
4.1.2	Impala	Is	Ic		Id	Id	Id
4.11.0	Hue	hs	hs
3.1.7	Dolphin Scheduler	dm api	dm api	dm alert	dw	dw	dw
1.6.2	Flink			fhs
2.3.2	Seatunnel	ss	ss	ss
1.2.6	Doris	fe	fe	feo	be	be	be broker
2.0.0	Knox	kg
3.3.2	Spark3		his
1.7.1	Kyuubi	ks	ks
1.15.1	MIT Kerberos							kdc	kdc2
4.8.6	FreeIPA(LDAP，Kerberos， NTP，Bind， Apache和Tomcat)							ipa	ipa2

编完这表格都有点眼花~~~CDSN上写文太不方便了！！

草稿如下，正在整理发布，持续更新。。。

一、ambari 无脑装（1台）
二、扩展 host && yarn metrics logSearh(solr)（扩到3台）
三、扩展 host && atlas(kafak solr hbase) ranger(solr)（扩到6台）
四、扩展 hive tez
五、扩展 impala
六、扩展 doris hue
七、扩展 Dolphin Scheduler
八、扩展 Ozone
九、扩展 HA（hdfs yarn hbae hive ‘Dolphin Scheduler’ atlas ranger hue）
十、扩展 Flink Seatunnel
十一、扩展 Sqoop Spark2
十二、集成 MIT Kerberos HA（增到到8台）
十三、部署 FreeIPA 双主 （增到到8台）
十四、集成 FreeIPA Kerberos HA
十五、ambari 集成 FreeIPA LDAP HA
十六、ranger 集成 FreeIPA LDAP HA
十七、atlas 集成 FreeIPA LDAP HA
十八、扩展 knox
十九、扩展 Spark3 Kyuubi
二十、SSL
二十一、案例1 Lambda-流批共存（离线+实时）数仓 maxwell + flume +kafka + datax + redis + hbase + flink&cdc +doris + dolphinScheduler + Superset + Sugar
二十二、案例2 构建实时湖仓一体的联邦查询 flink&cdc + iceberg + doris
二十三、案例3 待定。
二十四、HDP 3.3 升级
二十五、补充：A.vm模板制作；B.hue通过HttpFS支持hdfs HA；C.Ambari 更改所有主机名；D.hdp 安全证书；E.TezUIAssistant；F.Kafka Schema-Registry；G.Pgadmin4管理Postgresql集群；H.Kerberos 增加（flume,Maxwell,dataX）；I…