大数据平台架构与原型实现-读书笔记3

最新推荐文章于 2022-05-19 14:00:34 发布

baidu_38792549

最新推荐文章于 2022-05-19 14:00:34 发布

阅读量605

点赞数

分类专栏：数据平台架构文章标签： big data spark hadoop

本文链接：https://blog.csdn.net/baidu_38792549/article/details/119924431

版权

本文介绍了大数据平台的基础设施建设，包括集群规划、阿里云实例和组网创建、集群安装等步骤。在集群规划中，强调了节点角色分配，如Master、Worker、Utility和Gateway的角色。在创建实例和组网部分，详细讲解了阿里云上创建专有网络、安全组、实例的过程。安装集群阶段，涵盖了环境预配置、MySQL集群、Cloudera Manager Server安装以及高可用配置。最后提到了单节点集群的安装注意事项。

摘要由CSDN通过智能技术生成

第三章基础设施

一、集群规划

1.1 集群规模与节点配置

安装一个标准的生产环境，建议的集群物理架构如图：

首先，为了避免实时处理和批处理相互影响，他们两个是独立的HDFS+Yarn的集群，在CDH中可通过一组主节点管理多套集群。
其次，流计算节点上只需要安装NodeManager，不需要安装DataNode，因为流计算节点只负责计算，不存储数据，在进行流计算时不存在数据存储与计算资源的“共生”问题，但批处理集群上，NodeManager一定要和DataNode共生。

1.2 节点角色分配

按照“3~20 Worker Hosts with High Availability”规模分配角色，详细划分如下：

Master节点主要承载NameNode和YARN ResourceManager，两个服务器需要启动HA，所以需要两个Master节点组成双主架构，为保证双主节点的稳定性和负载均衡，不建议在安装其他主服务。
Utility节点安装其他组件的主服务，如Hive Metastor、Oozie等；Cloudera Manger也安装在Utility节点上，Cloudera Manager占用的资源相对较大，在集群规模较小时刻安排在Utility上与其他服务共享，以后随着规模扩展，也可考虑将其迁移到单独节点上。
Gateway节点专门供各类应用程序部署和提交作业，所以上面安装各个组件的Client；Gateway的主要负载并不是客户端服务，而是应用程序的客户端本身，如在Gateway节点上使用Client模式提交的Spark作业，则Driver的负载会落在Gateway上；Hue也被建议安排在Gateway节点，Hue有时也会被建议放在Utility节点。（如Hue用户较少，仅由运维或管理员使用，可将Hue视为某种Master服务；如Hue被作为大数据平台的一个终端开放给很多用户使用，则应安装在Gateway节点，方便日后扩容）。