一篇文章让你理解 大数据所需要的组件

置顶 已于 2022-11-05 14:47:38 修改
阅读量6.7k 收藏 65
点赞数 5
分类专栏： 大数据 文章标签： 大数据 hadoop flink spark Debezium
于 2022-07-02 01:08:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010020726/article/details/125552693
版权

简介

什么是Hadoop?

hadoop中有3个核心组件
分布式文件系统：HDFS —— 实现将文件分布式存储在很多的服务器上
分布式运算编程框架：MAPREDUCE —— 实现在很多机器上分布式并行运算
分布式资源调度平台：YARN —— 帮用户调度大量的mapreduce程序，并合理分配运算资源

专业术语

  1. OLTP Online Transaction Processing 联机事务处理
  2. OLAP Online Analytical Processing 联机实时分析
  3. HTAP Hybrid Transaction & Analytical Processing 混合事务和分析处理
  4. MPP Massively Parallel Processing 大规模并行处理
  5. 列存储 在基于列式存储的数据库中，数据是按照列为基础逻辑存储单元进行存储的，一列中的数据在存储介质中以连续存储形式存在
数仓建模以及分层
  1. ODS

ODS是数据接入层，所有进入数据的数据首先会接入ODS层。一般来说ODS层的数据是多复杂多样的。从数据粒度上看ODS层是粒度最细的数据层。

  1. DIM

维表层 公共维度汇总层（DIM）主要由维度表（维表）构成。维度是逻辑概念，是衡量和观察业务的角度。维表是根据维度及其属性将数据平台上构建的物理化的表，采用宽表设计的原则。因此，公共维度汇总层（DIM）首先需要定义维度。

  1. DWD

为数据仓库层，数据明细层的数据应是经过ODS清洗，转后的一致的、准确的、干净的数据。DWD层数据粒度通常和ODS的粒度相同，不同的是该层的数据质量更高，字段更全面等。在数据明细层会保存BI系统中所有的历史数据，例如保存近10年来的数据。例如 对ODS层数据进行清洗（去除空值，脏数据，超过极限范围的数据）、维度退化脱敏等

  1. DWS

数据集市层，该层数据是面向主题来组织数据的，通常是星形或雪花结构的数据。从数据粒度来说，这层的数据是轻度汇总级的数据，已经不存在明细数据了。例如 以DWD为基础，按天进行轻度汇总。

  1. DWT

数据应用层，它是完全为了满足具体的分析需求而构建的数据，也是星形或雪花结构的数据。从数据粒度来说是高度汇总的数据。其汇总的目标主要是按照应用需求进行的。例如 以DWS为基础，按主题进行汇总。

  1. ADS

ADS层：为各种报表提供数据。

其他
  1. DAG是有向无环图（Directed Acyclic Graph）
  2. 星型模型
  3. 雪花模型

存储框架

  1. HBase 基于hdsf
  2. TiDB
  3. ClickHouse
  4. InfluxDB
  5. GraphQL
  6. Elasticsearch
  7. Apache Doris

HBase Hadoop database 的简称，也就是基于Hadoop列数据库，是一种OLTP 数据库nosql ，主要适用于海量明细数据（十亿、百亿）的随机实时查询，如日志明细、交易清单、轨迹行为等

TiDB开源分布式关系型数据库，是一款同时支持在线事务处理与在线分析处理HTAP

InfluxDB 时序数据库

ClickHouse本质是一个OLTP 系统的列式数据库，主要做即时查询，大宽表，单表查询速度极佳，join表现差，明细数据查询

GraphQL 是一种针对 Graph（图状数据）进行查询特别有优势的 Query Language（查询语言），所以叫做 GraphQL

Elasticsearch 是一个分布式的免费开源搜索和分析引擎

Apache Doris开源MPP分析型数据库产品 ,灵活的多维度查询，join表现比Clickhouse好，明细数据查询，数量级支持TP-PB，需要注意的是Doris是mysql语法

数据同步 转换 组件

  1. sqoop
  2. canal
  3. DataX
  4. maxwell
  5. Debezium
  6. Flink-CDC
  7. Kettle
  8. StreamSets

离线批量计算计算引擎

  1. MapReduce
  2. YARN
  3. hive
  4. Spark

YARN 是 Hadoop 2.0 版本以后的资源管理器，即 MapReduce 2.0，相比于 1.0 版本，架构中的各个模块分工明确，在性能和稳定性上都有所提升。YARN 负责整个集群资源的管理和调度，也就是说所有的 MapReduce 都需要通过它来进行调度，支持多种计算框架。

Hive 是Hadoop数据仓库,能帮助熟悉SQL的人运行MapReduce任务,做一些数据清洗（ETL）、报表、数据分析,时间消耗长,适合离线的批量数据计算

spark的出现就弥补了MapReduce的不足。 spark是一种基于内存的快速、通用、可扩展的大数据计算引擎,应用于 批处理 用于ETL（抽取、转换、加载）。

实时流式计算引擎

  1. flink
  2. storm
  3. spark stream

在这里插入图片描述

存储层

  1. hdsf
  2. Apache Ozone
  3. s3
  4. oss
  5. Ceph
  6. GlusterFS

数据湖

  1. Apache Hudi
  2. Apache Iceberg
  3. Delta Lake
    在这里插入图片描述

任务调度工具

  1. Azkaban
  2. Airflow
  3. Oozie
  4. DolphinScheduler

airflow是一个可编程的工作流调度、监控平台。可分布式部署调用，基于DAG（本身没有队列功能，需要使用第三方组件，比如redis、rabbitMQ）,airflow用python进行编程
开发，可以进行丰富的任务处理，包括bash命令的执行、python代码调用、发送邮件、发送Http请求等。
airflow websever -D启动airflow的web界面

azkaban是一个工作流监控、调度工具。可以部署分布式，通过在job文件中以properties格式配置任务并打包成zip包即可进行调度。azkaban内部架构包括三部分
excutorServer、webServer、mysql，分别负责任务的执行、web界面的显示、调度信息的存储。
azkaban是一个轻量级的调度器。

oozie是一个基于hadoop的分布式的工作流调度框架，oozie通过在xml文件中配置任务来进行调度，执行调度时会启动MR任务，依赖于hadoop平台，是一个重量级框架。

​ Apache DolphinScheduler是一个分布式、易扩展的可视化DAG工作流任务调度平台，解决数据处理流程中错综复杂的依赖关系
所有流定时操作都是可视化的，通过拖拽来绘制DAG,配置数据源及资源，同时对于第三方系统，提供api方式的操作

Hadoop集群 管理工具,大数据运维

  1. Ambari
  2. CDH (Cloudera版本)
  3. HDP (Hortonworks版)
  4. CDP (Cloudera和Hortonworks合并后 收费)
  5. USDP (国人ucloud版)
  6. CRH (基于 Apache Ambari + Apache BigTop)
  7. TDH （星环 收费闭源）

Ambari是Apache软件基金顶级项目，它是一个基于web的工具，用于安装、配置、管理和监视Apache Hadoop集群，支持Hadoop HDFS,、Hadoop MapReduce、Hive、HCatalog,、HBase、ZooKeeper、Oozie、Pig和Sqoop。Ambari同样还提供了集群状况仪表盘，比如heatmaps和查看MapReduce、Pig、Hive应用程序的能力，以友好的用户界面对它们的性能特性进行诊断。

CDH 是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建

Hortonworks 主打产品是Hortonworks Data Platform (HDP)，也同样是100%开源的产品，HDP除了常见的项目外还包含了Ambari，一款开源的安装和管理系统。HCatalog，一个元数据管理系统。

即席查询组件

即席查询是用户根据自己的需求，灵活的选择查询条件，系统根据用户的选择生成相应的统计报表。普通查应用查询是定制开发的，即席查询是用户自定义查询条件

理解：快速的执行自定义SQL（可能无法提前运算和预测）
在这里插入图片描述

  1. Druid:是一个实时处理时序数据的OLAP数据库，因为它的索引首先按照时间分片，查询的时候也是按照时间线去路由索引。

  2. Kylin:核心是Cube，Cube是一种预计算技术，基本思路是预先对数据作多维索引，查询时只扫描索引而不访问原始数据从而提速。

  3. Presto:它没有使用Mapreduce，大部分场景下比HIVE快一个数量级，其中的关键是所有的处理都在内存中完成。

  4. Impala:基于内存计算，速度快，支持的数据源没有Presto多。

  5. SparkSQL：是spark用来处理结构化的一个模块，它提供一个抽象的数据集DataFrame和DataSet，,并且是作为分布式SQL查询引擎的应用。它还可以实现Hive on Spark,hive里的数据用sparksql查询。

BI 工具

产品国内/外是否开源主要标语
Tableau国外否Find easy answers to hard questions
PowerBI国外否在需要时理清思路
superset国外是一个现代数据探索和可视化平台。
MetaBase国外是Have questions about your data? Metabase has answers。
QuickBI国内否一个专为云上用户量身打造的新一代智能 BI 服务平台。
SugarBI国内否企业可使用 Sugar BI有效助力自己的业务决策
FineBI国内否新一代自助大数据分析的 BI 工具；使用自助式 BI 工具，释放企业数据潜力。
永洪 BI国内否释放数据价值，人人都是数据分析师。
DataEase国内是人人可用的数据可视化分析平台
cube.js国外是这个是一个通用的数据分析框架，里边包含了自助式的dashboard

ETL 套件工具

  1. kettle
  2. StreamSets
  3. Apache NiFi
  4. Airbyte
aaaak_
关注
专栏目录
大数据相关组件概述
曹利荣的博客
12-19 2508
大数据相关组件概述1、大数据开发和运维      开发: java、scala   hive/spark      运维: shell+CDH平台2、大数据组件:        数据抽取收集: SQOOP1/2、Flume        消息中间件: MQ、Kafka        存储: HDFS(分布式文件系统)、HBase(实时列式数据库)、Hive(离线数据库)、Kudu        计...
理解大数据解决方案的架构层
03-03
大数据解决方案的逻辑层可以帮助定义和分类各个必要的组件，大数据解决方案需要使用这些组件来满足给定业务案例的功能性和非功能性需求。这些逻辑层列出了大数据解决方案的关键组件，包括从各种数据源获取数据的位置，以及向需要洞察的流程、设备和人员提供业务洞察所需的分析。这个“大数据架构和模式”系列的第2部分介绍了一种评估大数据解决方案可行性的基于维度的方法。如果您已经使用上一篇文章中的问题和提示分析了自己的情况，并且已经决定开始构建新的（或更新现有的）大数据解决方案，那么下一步就是识别定义项目的大数据解决方案所需的组件。逻辑层提供了一种组织您的组件的方式。这些层提供了一种方法来组织执行特定功能的组件。这些
大数据及其常用组件介绍
11-06
本TTP为大数据及其常用组件的基本介绍（hdfs hive hbase kafka spark kudu impala kylin streamsets）仅供参考。
大数据生态组件学习笔记（一）
最新发布
qq_44990544的博客
09-25 1467
负责开发和维护多个知名的开源项目，如 Apache HTTP Server、Apache Hadoop、Apache Spark 等。spark是在内存中计算，然后数据存在内存中吗，从内存中读取数据？，实际需求可能会更高，考虑到中间结果、操作的复杂性和其他因素，建议至少准备 1.5 到 2 倍的内存。：数据首先存储在磁盘中（如 HDFS），计算过程从磁盘读取数据，随后在内存中进行处理。处理亿级数据所需的磁盘容量取决于多个因素，包括数据的结构、数据类型、压缩方式以及存储格式。
大数据常用组件总结
热门推荐
爱分享
04-26 4万+
Hadoop生态圈各常用组件介绍 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。具有可靠、高效、可伸缩的特点。 Hadoop的核心是YARN,HDFS和MapReduce。Hdfs是分布式文件存储系统，用于存储海量数据；MapReduce是并行处理框架，实现任务分解和调度。Hado
大数据组件整理
qq_22885233的博客
04-20 1万+
一、组件 apache hadoop：是一个用Java编写的Apache开源框架 ​ 1、hdfs： Hadoop 分布式文件系统 (HDFS) 是一种分布式文件系统。 ​ 2、mapreduce：hadoop自带计算框架。 ​ 3、yarn：YARN 资源管理器 cdh： CDH是Cloudera的100％开源平台发行版，包括Apache Hadoop，专为满足企业需求而构建 hive ：Apache Hive ™ 数据仓库 pig： Apache Pig是一个用于分析大型数据集的平台，其中包括用
大数据各组件概述
极客驿站
12-26 3475
大数据概要 流程图解析 1)数据采集：定制开发采集程序，或使用开源框架FLUME 2)数据预处理：定制开发mapreduce程序运行于hadoop集群 3)数据仓库技术：基于hadoop之上的Hive 4)数据导出：基于hadoop的sqoop数据导入导出工具 5)数据可视化：定制开发web程序或使用kettle等产品 6)整个过程的流程调度：hadoop生态圈中的oozie工具或其他类似开源产品 什么是RPC RPC（Remote Procedure Call Protocol）——远程过程调用协议，它
一篇文章读懂大数据中台架构.docx
11-23
本文旨在深入探讨数据中台架构的关键组成部分及其工作原理，帮助读者理解大数据技术体系的核心要素。 #### 二、数据中台架构概述 数据中台架构通常包括以下几个关键环节：数据采集传输、数据存储、数据计算与查询...
大数据架构和模式-理解大数据解决方案的架构层.docx
10-26
《大数据架构和模式-理解大数据解决方案的架构层》这篇文章详细介绍了构建大数据解决方案的逻辑层次，旨在帮助读者更好地理解和实施大数据项目。 #### 大数据解决方案的逻辑层 逻辑层的概念有助于明确和分类大数据...
大数据基础1
08-08
【大数据基础1】这篇内容主要介绍了大数据的基本概念和入门知识，包括Web 2.0对大数据的贡献，单服务器时代的局限性，以及大数据在企业成长和数据分析中的价值。此外，还涉及了大数据开发技术和架构，环境搭建的具体...
大数据相关组件
qq837993702的博客
01-27 761
是NameNode的冷备份，分担NameNode的工作量，合并fsimage和fsedits然后再发给NameNode，定期同步元数据映像文件和修改日志，当NameNode发生故障时，备份转正。Hive是构建在Hadoop HDFS上的一个数据仓库，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能，其本质是将SQL转换为MapReduce程序。：是Master节点，管理数据块映射，处理客户端的读写请求，配置副本策略，管理HDFS的名称空间；​ 1、spark rdd：弹性分布式数据集。
大数据组件介绍PPT
07-14
主要介绍Hadoop,Spark,Sqoop,Hbase,kafka等大数据相关组件，以及Apache原生集群以及CDH一键安装方式，最后介绍作者所在公司的应用场景
大数据组件
caoming51021的专栏
08-13 679
大数据组件介绍
奔腾游子
02-19 1278
大数据的方向梳理 大数据出现的背景：4V特性 （数据量，数据种类，数据处理速度，价值密度低） 集群发展中，有两类比较常见的问题：水平瓶颈，单点故障 1.平台侧 HDFS解决存储 yarn 技术框架 Zookeeper分布式协调 ,Kerberos&LDAP负责安全 HDFS 一、主从结构 主节点NameNode(单点故障用主备机制解决，水平瓶颈用联邦机制解决) 存储元数据fsimage元数据在内存，同时磁盘也会保存一份，磁盘保存元数据fsimage 的动作由备份的完成 从节点DataNode
大数据生态圈常用组件（一）：数据库、查询引擎、ETL工具、调度工具等
2401_83817148的博客
04-16 1011
一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写。整理了当年使用过的一些，大数据生态圈组件的特性和使用场景，若有不当之处，请留言斧正，一起学习成长。站内搜索（电商，招聘，门户等），IT系统（OA,CRM,ERP）；
大数据分析常用组件、框架、架构介绍（Hadoop、Spark、Storm、Flume、Kafka、Logstash、HDFS、HBase）
YGQ_qq_1435471912
06-22 1万+
（一）常用组件介绍：具有特定功能的可复用组件正是计算机领域中的利器。在大数据的浪潮下，许多用于处理大数据的组件应运而生，分别应用在“数据传输”“数据存储”“数据计算”以及“数据展示”的环节中。这里，我们将着重介绍一些常用组件的内部原理以及使用方式，并讲述在大数据处理领域中的一些通用架构模式。 1.数据传输： 数据传输时数据处理中至关重要的一步，数据工程师需要利用高效的传输方式把分散在不同机房不同地...
大数据最新大数据生态圈常用组件（一）：数据库、查询引擎、ETL工具，正式加入字节跳动
2401_84182758的博客
05-07 710
一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写。把大部分数据库操作push到硬件，通过高性能硬件提高数据查询速度，通过采用列式结构减少需要在存储和内存间移动的数据量，通过高速网络接口提供数据传输的效率。
大数据基础一：大数据组件
Phyllis2016的博客
11-01 2178
一、单机、集群、分布式 1、单机 一个系统业务量很小的时候所有的代码都放在一个项目中就好了，然后这个项目部署在一台服务器上就好了。整个项目所有的服务都由这台服务器提供。这就是单机结构。 2、集群 单机处理到达瓶颈的时候，你就把单机复制几份，这样就构成了一个“集群”。集群中每台服务器就叫做这个集群的一个“节点”，所有节点构成了一个集群。每个节点都提供相同的服务，那么这样系统的处理能力就相当于提升了好几倍（有几个节点就相当于提升了这么多倍）。 3、分布式（微服务） 分布式结构就是将一个完整的系统，按
理解大数据技术：Hadoop生态圈解析
"这篇文章主要介绍了Hadoop大数据生态圈，包括HDFS和MapReduce等核心组件，以及Hive和Spark等扩展工具。" Hadoop生态圈是针对大数据处理所构建的一系列开源工具和框架的集合，旨在解决单机无法应对的海量数据处理...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值