集群搭建不再难：1000台服务器的快速启动指南！

敏捷调度TASKCTL

于 2024-11-01 10:00:45 发布

阅读量835

点赞数 16

分类专栏： Hadoop Cloudera 大数据运维知识分享企业开发文章标签：服务器运维 cloudera 迁移学习持续部署

本文链接：https://blog.csdn.net/humsuen/article/details/143382415

版权

企业开发同时被 3 个专栏收录

20 篇文章

订阅专栏

知识分享

13 篇文章

订阅专栏

Hadoop Cloudera 大数据运维

5 篇文章

订阅专栏

若你正面临Cloudera环境部署、下载安装等方面的挑战，不妨回头看看我们之前发布的《Cloudera安装不再复杂：基础环境设置详解》详尽指南。

大数据集群搭建及管理问题

问题:

需要搭建 1000 台服务器的集群，其中集群包含 Hive、Hbase、Flume、Kafka、Spark 等集群，需要多长时间搭建好?

思考:

搭建四台集群与搭建 1000 台集群的区别?比较相似。

解决问题:(以搭建HDFS为例)

集群环境规划

首先我们需要进行集群基础环境的规划:比如每台节点的网络 ip 规划，节点时间同步，每台节点的名称，每台节点安装 jdk，节点之间配置免密等。

其次需要进行 Hadoop 的集群规划:比如搭建 HDFS 的版本，搭建的 HDFS 模式，搭建单机模式?还是完全分布式模式?还是HA的完全分布式模式?搭建 HDFS 是否需要依赖?比如 zookeeper。

最后对节点进行规划:比如那些节点搭建 zookeeper?那些节点搭建 Hadoop 集群等。

实际搭建步骤: 基础环境的搭建

搭建 zookeeper 集群。搭建 HDFS 集群。

存在的问题:

各个大数据技术包的下载。升级复杂。
配置文件多节点之间分发。部署过程复杂。
大数据技术各个版本的匹配兼容。版本对应混乱，兼容性差。
集群使用状态、日志查看麻烦。去节点查看详细内容，安全性差。

CDH简介

目前 Hadoop 发行版非常多，除了原生的 Apache Hadoop 外，还有 Cloudera 发行版(CDH)、Hortonworks 发行版[2018 年与 Cloudera 公司已经合并]，MapR的MapR 产品、AWS[Amazon Web Services]的 EMR[Elastic MapReduce]等。

目前市场份额占比最高的是前三家。所有这些发行版都是基于 Apache Hadoop 衍生出来的，之所以有这么多版本，是由于 Apache Hadoop 的开源协议决定的:任何人可以对其进行修改，并作为开源或者商业产品发布或者销售。

Apache Hadoop 版本: 最原始的版本，所有的发行版都是基本这个版本改进，也称为社区版 Hadoop。

Cloudera 版本:Cloudera’s Distribution Including Apache Hadoop ，简称 CDH。

Hortonworks 版本:Hortonworks Data Platform 简称“HDP”。

对于国内的用户来说，CDH 版本使用最多。CDH 基于 Web 的用户界面，支持大多数 Hadoop 的组件，包括:HDFS、MapReduce、Hive、Hbase、Zookeeper 等组件，并且简化了大数据平台的安装和使用，使集群方便管理。

Cloudera 的 CDH 和 Apache 原生的 Hadoop 的区别如下:

1.CDH 对版本的划分非常清晰，CDH 共有6个版本，前三个版本已经不再更新，目前更新的两个版本为 CDH5 和 CDH6，CDH4 基于 Hadoop2.0，CDH5 基于 Hadoop2.2-2.6，CDH6 基于 Hadoop3.0，而原生的Apache Hadoop版本比较多，CDH相比原生Apache Hadoop做到版本统一管理。

2.CDH相比原生 Hadoop 在兼容性、安全性、稳定性上有较大改善，对 Hadoop 一些 bug 进行了修复，支持 Kerberos 安全认证，更新速度快且 CDH 文档完善清晰。

3.CDH 支持 yum 包，rpm 包，tar 包，Cloudera Manager 几种方式安装，原生的 Apache Hadoop只支持tar包安装。

4.提供了部署、安装、配置工具，大大提高了集群部署的效率，可以在短时间内部署好集群。

5.运维简单，提供了管理、监控、诊断、配置修改工具，管理配置方便，定位问题快速，准确，使运维工作简单高效。