CDH大数据平台

梦龙zmc

于 2024-09-04 11:40:27 发布

阅读量1.3k

点赞数 27

分类专栏：大数据文章标签：大数据

本文链接：https://blog.csdn.net/menglongzmc91/article/details/141887867

版权

大数据专栏收录该内容

1 篇文章 0 订阅

订阅专栏

CDH概念

CDH（Cloudera Distribution Including Apache Hadoop)是由Cloudera公司提供的一个集成了Apache Hadoop以及相关生态系统的发行版本。CDH是一个大数据平台，简化和加速了大数据处理分析的部署和管理。CDH提供Hadoop的核心元素-可伸缩存储和分布式计算-以及基于web的用户界面和重要的企业功能。CDH是Apache许可的开放源码，是唯一提供统一批处理、交互式SQL和交互式搜索以及基于角色的访问控制的Hadoop解决方案。

Hadoop

一种分布式系统基础架构，是大数据处理和数据存储的主要技术之一。它具有高效可靠、弹性伸缩等特点，包括三个核心组件：HDFS、MapReduce 和 YARN，在大数据处理、数据挖掘、机器学习等领域得到了广泛的应用。

Hadoop的特点：

优点

1、支持超大文件。HDFS存储的文件可以支持TB和PB级别的数据。

2、检测和快速应对硬件故障。数据备份机制，NameNode通过心跳机制来检测DataNode是否还存在。

3、高扩展性。可建构在廉价机上，实现线性（横向）扩展，当集群增加新节点之后，NameNode也可以感知，将数据分发和备份到相应的节点上。

4、成熟的生态圈。借助开源的力量，围绕Hadoop衍生的一些小工具

缺点：

1、不能做到低延迟。高数据吞吐量做了优化，牺牲了获取数据的延迟。

2、不适合大量的小文件存储。

3、文件修改效率低。HDFS适合一次写入，多次读取的场景。

Hadoop 的核心架构包括三个组件：

1. HDFS：HDFS 是 Hadoop 的分布式文件系统，能够将大文件划分为多个块并存储在多个节点上，实现数据的备份和容错，具有高度容错性和高吞吐量等特点，适合在廉价的机器上部署；

2. MapReduce：MapReduce 是一种分布式编程模型，能够将大规模数据进行并行处理，适用于大规模数据分析和处理；

3. YARN：YARN 是 Hadoop 的资源管理器，可以动态地分配资源和管理任务，提高计算集群的利用率和效率

CDH特性

灵活性：存储任何类型的数据并使用各种不同的计算框架进行操作，包括批处理、交互式SQL、免费文本搜索、机器学习和统计计算。

集成：能够快速集成和运行一个完整的Hadoop平台，适用于各种不同的硬件和软件。

安全：处理和控制敏感数据。

扩展性：能够部署多种应用，并扩展和扩充它们以满足你的需求。高可用性：可以放心地用于关键的商业任务。

兼容性：兼容现有的基础设施和资源

CDH功能

CDH是一个强大的商业版数据中心管理工具，提供了以下功能：

1.提供了各种能够快速稳定运行的数据计算框架，如Spark；

2.使用Apache Impala做为对HDFS、HBase的高性能SQL查询引擎；

3.使用Hive数据仓库工具帮助用户分析数据；

4.提供CM安装HBase分布式列式NoSQL数据库；

5.包含原生的Hadoop搜索引擎以及Cloudera Navigator Optimizer去对Hadoop上的计算任务进行一个可视化的协调优化，提高运行效率；

6.提供的各种软件能让用户在一个可视化的UI界面中方便地管理、配置和监控Hadoop以及其它所有相关组件，并有一定的容错容灾处理；

7.提供了基于角色的访问控制安全管理。

CDH和原生Hadoop区别

原生Hadoop的问题

1.版本管理过于混乱

2.部署过程较为繁琐,升级难度较大

3.兼容性差

4.安全性低

CDH优点

1. 提供基于web的用户界面，操作方便

2、集成的组件丰富，支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop

3、搭建容易，运维比原生hadoop方便。简化了大数据平台的安装和使用难度

4、版本划分清晰、更新速度快、文档清晰、支持多种安装方式、支持Kerberos安全认证等

CDH 组件

Hadoop HDFS

Hadoop HDFS（Hadoop Distributed File System）是CDH中的一个核心组件，它是一个可扩展的分布式文件系统，用于存储大规模的数据文件。HDFS通过将文件切分为多个块，并将这些块分布在不同的计算节点上，实现了高可用性和高性能的文件存储。

Hadoop YARN

Hadoop YARN（Yet Another Resource Negotiator）是CDH中的另一个核心组件，它是一个资源管理器，负责对集群中的计算资源进行统一管理和调度。YARN可以根据应用程序的需求，动态分配计算资源，实现任务的高效执行。

Hadoop MapReduce

Hadoop MapReduce 是CDH中用于分布式计算的编程模型和框架，它将大规模的数据切分为多个小任务，并在集群中的计算节点上并行执行这些任务。MapReduce可以实现大规模数据的处理和分析，支持复杂的数据转换和计算操作。

HBase

HBase是CDH的一个分布式数据库，它基于Hadoop HDFS存储数据，并提高性能的随机读写能力。HBase适用于需要快速访问和查询大规模数据的场景，如日志分析、推荐系统等

Hive

Hive是CDH中的一个数据仓库工具，它提供了类似于SQL的查询语言（HiveSQL），它可以将结构化的数据映射到Hadoop集群中的文件，并支持高性能的数据查询和分析。Hive可以方便地进行数据的ETL(Extract、Transform、Load）操作，适用于数据分析和报表生成等任务

Impala

Impala是CDH中的一个交互式查询引擎，它可以直接访问存储在Hadoop HDFS和HBase中的数据，并提供类似于SQL的查询语言。Impala通过在内存中执行查询操作，实现了低延迟的数据查询和分析，适用于实时数据处理和探索性数据分析等场景。

Sqoop

Sqoop是CDH中的数据导入导出工具，它可以将关系型数据库（如Mysql、Oracle等）中的数据导入到Hadoop集群中的HDFS或HBase中，也可以将Hadoop集群中的数据导出到关系型数据库中。Sqoop支持自动化的数据传输和转换，方便进行数据的迁移和集成。

Flume

Flume是CDH中的一个日志收集和传输工具，它可以实时地将分布在不同计算节点上的日志数据收集到中央存储（如HDFS）中。Flume支持灵活的数据流管道配置，可以根据需求进行数据过滤、转换和路由操作，适用于大规模分布式系统的日志管理。

ZooKeeper

ZooKeeper是CDH中的一个分布式协调服务，它可以实现分布式系统中的数据一致性和协同操作。ZooKeeper提供了高可用性和高性能的数据存储和访问接口，可以用于分布式锁、配置管理、命名服务等场景。

Spark

Spark是一个Apache项目，它被标榜为“快如闪电的集群计算”。它拥有一个繁荣的开源社区，并且是目前最活跃的Apache项目。最早Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架。是一种基于内存的分布式并行计算框架，不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。Spark提供了一个更快、更通用的数据处理平台。和Hadoop相比，Spark可以让你的程序在内存中运行时速度提升100倍，或者在磁盘上运行时速度提升10倍

Pig(ad-hoc脚本）

由yahoo开源，设计动机是提供一种基于MapReduce的ad-hoc(计算在query时发生)数据分析工具。Pig定义了一种数据流语言—Pig Latin，它是MapReduce编程的复杂性的抽象,Pig平台包括运行环境和用于分析Hadoop数据集的脚本语言(Pig Latin)。其编译器将Pig Latin翻译成MapReduce程序序列将脚本转换为MapReduce任务在Hadoop上执行。通常用于进行离线分析。

Oozie

Oozie是CDH中的一个工作流调度和协调工具，它可以将多个Hadoop任务组织成一个工作流，并按照指定的时间和依赖关系进行调度执行。Oozie支持复杂的任务依赖关系和条件触发，可以实现数据处理和分析的自动化流程控制。

CM(Cloudera Manager)

CDH分为Cloudera Manager管理平台（CM）和CDH parcel（parcel包含各种组件的安装包），需要先安装CM，再安装parcel

CM(Cloudera Manager)提供了一个管理和监控Hadoop等大数据服务的web界面，能让我们方便安装大数据生态圈的大部分服务。

核心组件CM

CM（Cloudera Manager），管理CDH端到端的应用。CM通过对CDH集群的各部分提供精细的可视化和控制，建立了企业级部署的标准，增强了操作人员的能力以提升性能、提升服务质量、提高合规性、降低管理成本,其具有以下功能：

1、管理：对集群进行管理，例如添加、删除节点等操作。

2、监控：监控集群的健康情况，对设置的各种指标和系统的具体运行情况进行全面的监控。

3、诊断：对集群出现的各种问题进行诊断，并且给出建议和解决方案。

4、集成：多组件可以进行版本兼容间的整合。

其核心是管理服务器Cloudera Manager Server，该服务器承载管理控制台的Web服务器和应用程序逻辑，并负责安装软件，配置，启动和停止服务，以及管理上的服务运行群集。

Cloudera Manager Server与以下几个组件一起工作:

Agent(代理）：安装在每台主机上。该代理负责启动和停止的过程，拆包配置，触发装置和监控主机。

Management Service：由一组执行各种监控，警报和报告功能角色的服务。

Database：存储配置和监视信息。通常情况下，多个逻辑数据库在一个或多个数据库服务器上运行。

Cloudera Repository：软件由Cloudera 管理分布存储库。

Clients：是用于与服务器进行交互的接口。

Admin Console ：基于Web的用户界面与管理员管理集群和Cloudera管理。

API ：与开发人员创建自定义的Cloudera Manager应用程序的API。

CM功能

1. 状态管理

Cloudera Manager Server维护了集群的各种状态。状态可以分为两类：模块和运行时，两者存储于Cloudera Manager Server的数据库中。

模块中包含集群、主机、服务、配置。运行时包含进程、命令。

2. 配置管理

CM在多个层面定义了配置，如：

服务层面：可定义整个服务实例层面的配置，如HDFS服务的默认副本因子。

角色组层面：可定义某个角色组的配置，如DataNode的处理线程数量，可根据DataNodes的不同分组进行不同的配置。

角色层面：可覆盖从角色组层面继承的配置。这种配置需要谨慎使用，因为会造成角色组中的配置分歧。如因为排错需求临时启用某个角色实例的DEBUG日志。

主机层面：根据监控、软件管理、资源管理的不同有不同的配置。

3. 进程管理

非CM管理的集群使用脚本进行角色进程的启动，但在CM管理的集群中这类脚本不起作用。

CM管理的集群中，只能使用CM进行角色进程的启停。CM使用开源的进程管理工具名为supervisord，其会启动进程、重定向日志、通知进程失败、为进程设置正确的用户ID等等。CM支持自动重启一个崩溃的进程。如果一个进程在启动后频繁崩溃，还会被打上非健康标记。

停止CMS和CM代理不会使正在运行的进程被中止。

4. 软件包管理

CM支持两种软件分发格式:packages和parcels。

packages是一种二进制分发格式，包含编译的代码和元数据如包述、版本、依赖项。包管理系统评估此元数据以允许包搜索、执行升级、确保包的所有依赖关系得到满足。CM使用本地操作系统支持的包管理程序。

parcel也是一种二进制分发格式，包含CM需要使用的附加元数据。其与package的区别有:可安装同一个parcel的多个版本，并激活其中一个; parcel可安装到任何路径;通过parcel安装，CM会自动下载并激活和每个节点操作系统版本匹配的parcel包，解决某些操作系统版本不一致问题。

5. 主机管理

CM 供了多种功能以管理Hadoop集群的主机。第一次运行CM管理员控制台时，可搜索主机并添加到集群，一旦选中了主机就可以为其分配CDH 角色。CM会在主机上自动部署作为集群托管节点的所有软件:JDK，CM 代理，CDH，Impala，Solr等等。

服务部署并运行后，管理员控制台中的“Hosts”区域显示集群中托管主机的总体状态。供的信息包括主机上的CDH版本、主机所属的集群、运行在主机上的角色的数量。Cloudera管理服务中的主机监控角色执行健康检查并收集主机的统计信息，以允许你监控主机的健康和性能。

6. 资源管理