目录
🐶3.1 hadoop组成
-
HDFS (Hadoop Distributed File System) 分布式文件系统:负责海量数据的存储和管理
-
MapReduce分布式运算系统: 负责海量数据的运算
-
YARN分布式资源调度和任务监控平台
在Hadoop1.x 时代,Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度,耦合性较大。
在Hadoop2.x时代,增加了Yarn。Yarn只负责资源的调度,MapReduce 只负责运算。
Hadoop3.x在组成上没有变化。
在软件工程中,耦合(Coupling)是指两个模块(或组件、类等)之间的依赖关系程度,即一个模块对另一个模块的了解程度。耦合性描述了模块之间的关联程度,这个关联可能是由于一个模块需要调用另一个模块的功能、使用其数据,或者直接依赖于另一个模块的实现细节等。
🐶3.1 HDFS 架构概述
Hadoop Distributed File System,简称HDFS,是一个分布式文件系统。
1. NameNode(nn):
存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间、副本数、文件权限),以及每个文件的块列表和块所在的DataNode等。
2. DataNode(dn):
在本地文件系统存储文件块数据,以及块数据的校验和。
3. Secondary NameNode(2nn):
每隔一段时间对NameNode元数据备份。
🐶3.2 YARN 架构概述
Yet Another Resource Negotiator 简称YARN ,另一种资源协调者,是Hadoop 的资源管理器。
ResourceManager(RM):整个集群资源(内存、CPU等)的管理者
NodeManager(NM):单个节点服务器资源的管理者。
ApplicationMaster(AM):单个任务运行的管理者。
Container:容器,相当于一台独立的服务器,里面封装了任务运行所需要的资源,如内存、CPU、磁盘、网络等。
容器(Container)是一种虚拟化技术的概念。容器并不是传统意义上的虚拟机(VM),而是更轻量级的虚拟化形式,用于隔离和管理运行在同一物理机上的不同任务。
在YARN中,容器是资源的一个抽象,它提供了一种隔离和封装计算任务所需资源的机制。每个容器都封装了运行一个特定任务所需的资源,包括内存、CPU、磁盘、网络等。容器的概念允许多个任务同时在同一物理节点上运行,而彼此之间相互隔离,互不影响。
说明:
(1)客户端可以有多个
(2)集群上可以运行多个ApplicationMaster
(3)每个NodeManager上可以有多个Container
🐶3.3 MapReduce 架构概述
MapReduce 将计算过程分为两个阶段:Map 和Reduce
1)Map 阶段并行处理输入数据
2)Reduce 阶段对Map 结果进行汇总
🐶3.4 HDFS、YARN、MapReduce 三者关系
如图所示:
DataNode就负责数据实实在在的存储。
NameNode负责告诉别人我的数据存储在哪个节点上,存储了什么信息。相当于账本。
SecondaryNameNode:相当于秘书,如果NameNode挂了,2nn会备份一部分数据,来恢复namenode一部分工作(不是所有工作)。
🐶3.5 大数据技术生态体系
如图所示:
3.5.1 结构化数据与半结构化数据
-
结构化数据:
-
定义: 结构化数据是按照固定格式和模式组织的数据,通常以表格形式存储在关系型数据库中。这种数据类型具有清晰的数据模型和明确定义的架构,每个数据字段都有固定的数据类型。
-
示例: 关系型数据库表中的数据是典型的结构化数据。例如,一个包含员工信息的数据库表,其中每个员工的姓名、员工号、职位等信息都有明确定义的字段和数据类型。
-
-
半结构化数据:
-
定义: 半结构化数据不像结构化数据那样有明确的表格结构,但它包含一些结构元素,使得数据元素之间有某种形式的关系。半结构化数据通常以层次化结构或标记语言表示,如XML(可扩展标记语言)或JSON(JavaScript对象表示)。
-
示例:以下是一个文件日志的半结构化数据的简单例子,通常可以使用文本格式,如JSON或XML。
-
{
"timestamp": "2023-01-15T12:30:45",
"level": "INFO",
"message": "Application started successfully.",
"source": "MainApplication",
"user": {
"id": "12345",
"name": "John Doe"
},
"metadata": {
"ip_address": "192.168.1.101",
"server": "web-server-01"
}
}
在这个例子中,文件日志的每一条记录都以JSON格式表示。关键元素包括:
-
timestamp: 记录的时间戳。
-
level: 日志级别(例如,INFO、WARN、ERROR)。
-
message: 记录的文本消息。
-
source: 产生日志的源或模块名称。
-
user: 包含用户相关信息的对象。
-
metadata: 包含其他元数据的对象,如IP地址、服务器名称等。
这种表示形式具有半结构化的特点,因为它允许根据需要添加或省略特定的字段,而不像严格结构化的表格形式那样要求每个记录具有相同的列。这使得处理不同类型或版本的日志变得更加灵活。
3.5.2 图中涉及的技术名词解释:
(1)Sqoop:Sqoop 是一款开源的工具,主要用于在Hadoop、Hive 与传统的数据库(MySQL)间进行数据的传递,可以将一个关系型数据库(例如 :MySQL,Oracle 等)中的数据导进到Hadoop 的HDFS 中,也可以将HDFS 的数据导进到关系型数据库中。
(2)Flume:Flume 是一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume 支持在日志系统中定制各类数据发送方,用于收集数据。
(3)Kafka:Kafka 是一种高吞吐量的分布式发布订阅消息系统。
(4)Spark:Spark 是当前最流行的开源大数据内存计算框架。可以基于Hadoop 上存储的大数据进行计算。
(5)Flink:Flink 是当前最流行的开源大数据内存计算框架。用于实时计算的场景较多。
(6)Oozie:Oozie 是一个管理Hadoop 作业(job)的工作流程调度管理系统。
(7)Hbase:HBase 是一个分布式的、面向列的开源数据库。HBase 不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。
(8)Hive:Hive 是基于Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL 查询功能,可以将SQL 语句转换为MapReduce 任务进行运行。其优点是学习成本低,可以通过类SQL 语句快速实现简单的MapReduce 统计,不必开发专门的MapReduce 应用,十分适合数据仓库的统计分析。
(9)ZooKeeper:它是一个针对大型分布式系统的可靠协调系统,提供的功能包括:配置维护、名字服务、分布式同步、组服务等。