大数据基础：区分离线数据和实时数据、流式数据处理和批量数据处理

最新推荐文章于 2024-05-23 10:33:12 发布
最新推荐文章于 2024-05-23 10:33:12 发布
阅读量2.1k 收藏 3
点赞数
分类专栏： 大数据测试 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39266845/article/details/127655756
版权

一、按照数据处理延迟的长度划分：实时数据、离线数据

1、实时数据：毫秒级别

2、离线数据：小时或天级别

 二、按照数据处理的角度划分：流式数据处理、批量数据处理

1、流式数据处理：接收一条数据，处理一条数据

2、批量数据处理：累积到一定量的数据，再进行处理

嫣然一笑lmz
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
理解实时数据流与离线数据流
杨鑫newlife的专栏
07-16 8469
1.离线数据流： 该数据流日常周期性的（每周执行一次/每日执行一次/每小时执行一次）将某些数据源（Mysql/Oracle/CSV/…）等历史数据（全量数据/增量数据）迁移到某个存储引擎上（Hive/Hbase/….）。 2.实时数据流： 该数据流一直保持运行状态实时的抽取（pull/push方式）数据源的数据，并在毫秒/秒级别写入存储引擎，在数据使用以及传输上达到实时效果（...
2023大数据技术应用的五个主要场景总结
jarryzhong的专栏
03-20 1789
大数据技术应用的几个主要场景：离线处理、实时流处理、交互查询、实时检索和融合数据仓库 离线处理场景：通常是指对海量数据进行分析和处理，形成结果数据，供下一步数据应用使用。离线处理对处理时间要求不高，但是所处理数据量较大，占用计算存储资源较多，通常通过MR或者Spark作业或者SQL作业来实现； 交互查询场景：通常是指对数据进行交互式的分析和查询，查询响应要求较高，能够实现人机之间交互，查询通常比较复杂；交互查询的数据通常已经预处理过，按照适合交互查询的数据模型进行组织；
什么是实时数据，有哪些特征及与离线数据的对比分析
hhue2007的专栏
12-09 6977
什么是实时数据，有哪些特征及与离线数据的对比分析
《离线和实时大数据开发实战》（二）大数据平台架构 &amp； 技术概览_数据平台开发技术
2401_84185626的博客
04-28 699
接下来就是介绍数据平台，出于逻辑清晰以及技术相关性考虑，将主要从三个方面来对数据平台相关的概念和技术进行介绍。
批量计算与流式计算的区别
weixin_43865381的博客
12-18 2044
大数据的【计算模式】主要分为两种，适用于不同的大数据应用场景 批量计算(batch computing) 批处理：对一定规模量的数据进行处理，类似搬砖，10个10个的搬 场景：离线数据统计、报表分析等（过去1年 10000亿条日志，分析日、周、月，接口响应延迟 状态码） 特点：批量计算非实时、高延迟，计算完成后才可以得到结果 框架：Hadoop MapReduce 流式计算(stream computing) 流处理：对源源不断的数据流进行处理，类似水龙头出水 特点：流式计算实时、低延迟，实时取最新
离线数仓和实时数仓的区别
wuhahaq的博客
04-18 3439
7.数据存储方面，离线数仓一般将数据存储在HDFS、Hive中，实时数仓一般将数据存储在kafak、Hbase.Redis、Clickhouse中。1.架构选择方面，离线数仓采用传统大数据框架模式搭建，而实时数仓采用Kappa架构方式搭建。4.实时性方面：离线数仓统计数据结果一般是T+1,实时数仓统计结果一般是分钟级别、秒级别。6.数据吞吐量方面，离线数仓吞吐量都很高，实时数仓随着实时技术发展吞吐较高。3.准确性方面，离线数仓准确性高，实时数仓随着技术发展，准确度也比较高。
如何区分大数据离线与实时场景
pengpengsays
02-24 1506
比方说我们以离线处理场景为例，数据从数据源产生以后，我们先给它存起来。你不管存到哪个地方，假设保存的数据是10个GB，这10个GB的数据在后续的运算过程中它是不会增加或者减少的。它就是固定10个GB。我们基于这10个GB的数据，进行运算，这个时候完成的运算就是离线运算。离线运算最适合批处理这种方式来完成。处理完以后得到最终结果后进行输出，做一个保存。以批处理程序它的视角来看，我们处理的数据它是存起来的数据集，它是有边界的数据。存起来是10个G，处理的时候也是10个G，它不会增加和减少。
离线数据、实时数据是什么
自救 唯有自强
07-23 1566
离线数据一般是指T-1的日期，例如今天的日期T=2021-11-12，那么数据结果中，能够体现的业务数据只包括前一天的(昨日数据)。有人也称之为T+1的数据，把数据日期当作T，叫法不同，但本质都是指的今天处理的数据最新日期是截止昨天。实时数据主要是指的数据延迟小，例如毫秒、秒、分钟级的延迟。例如，你熬夜赶在双十一晚上的最后1分钟，成功付了尾款，在双十一实时统计大屏中，GMV的值又滚动了一下。小时级的延迟称之为“准实时数据“...
流式大数据处理的三种框架：Storm，Spark和Samza
02-26
许多分布式计算系统都可以实时或接近实时地处理大数据流。本文将对三种Apache框架分别进行简单介绍，然后尝试快速、高度概述其异同。在Storm中，先要设计一个用于实时计算的图状结构，我们称之为拓扑（topology）。...
SparkStreaming：大规模流式数据处理的新贵
02-26
SparkStreaming是大规模流式数据处理的新贵，将流式计算分解成一系列短小的...1.复杂的批量数据处理（batchdataprocessing），通常的时间跨度在数十分钟到数小时之间。2.基于历史数据的交互式查询（interactiveque
基于大数据的城市轨道交通数据处理流程研究.pdf
08-15
离线数据处理则更多地依赖批量计算，这种计算模式适合处理大量已经存储的数据，对实时性要求较低，但能处理更全面的信息。数据首先从接口服务器采集，存储在HDFS（Hadoop Distributed File System）中，经过清洗、...
区分实时数据、离线数据、流式数据以及批量数据的区别
阿伟的博客
04-04 3404
数据处理延迟的长短 实时数据处理：毫秒级别 离线数据处理：小时 或 天 级别 数据处理的方式角度 流式数据处理 批量数据处理 区分 其实实时数据处理不等同与流式数据处理，批量数据处理也不等同于离线数据处理， 一个是数据处理的方式，一个是数据处理的时间长短，不能搞混。 流式数据处理：来一条数据处理一条数据 批量数据处理：缓冲累积到一定量的数据再进行数据 实时数据处理：在秒级别内完成数据分析或数据查询 离线数据处理：需要小时甚至天才能完成数据分析或查询 ...
如何选择数据集成方式 - 离线&实时
阿里云云栖号
01-31 992
数据中台开发阶段的前期工作，最困难就是数据集成了。刚开始数据建模做的好坏，业务做的好坏，似乎都有情可原，但是数据集成不上来，一切业务远景就如地基不牢的高楼随时都可能倾覆。
大数据离线（一）
weixin_30394633的博客
07-26 768
数据分析 数据分析作用 在商业领域中，进行数据分析的目的是把隐藏在一大批看似杂乱无章的数据背后的信息集中和提炼出来，总结出所研究对象的内在规律，帮助管理者进行有效的判断和决策。数据分析在企业日常经营分析中主要有三大作用： 现状分析：告诉你当前的状况 原因分析：告诉你某一现状为什么发生 预测分析：告诉你将来会发生什么 数据分析基本步骤 明确分析目的和思路：比如用户行为理论 用户行为轨迹 》》...
计算在线，离线，未联网案例（mysql存储过程）
qq_28118609的博客
04-23 323
BEGIN declare count int; DECLARE penId VARCHAR(50); DECLARE createDate VARCHAR(50); DECLARE beforeDay VARCHAR(50); DECLARE sum_pen int; DECLARE year_sum_pen int DEFAULT 0; DECLARE off_Line int DEFAULT...
大数据模型、离线架构、实时架构
swebin的专栏
03-18 2175
用户分析模型是基础的分析模型。运营人员可以通过观察不同属性的用户群体（如新注册用户与老客户、不同渠道来源的客户）各环节转化率，各流程步骤转化率的差异对比，了解转化率最高的用户群体，分析漏斗合理性，并针对转化率异常环节进行调整。黏性分析是在留存分析的基础上，对一些用户指标进行深化，除了一些常用的留存指标外，黏性分析能够从更多维度了解产品或者某功能黏住用户的能力情况，更全面地了解用户如何使用产品，新增什么样的功能可以提升用户留存下来的欲望，不同用户群体之间存在什么样的差异，不同用户对新增的功能有何看法。
数据处理的两大潮流:流式vs批处理,ETL该怎么选？
oOBubbleX的博客
07-27 166
在数字化时代，数据已成为各行业不可或缺的重要资产。ETL（Extract-Transform-Load）作为常用的数据处理方式，传统的批处理ETL在稳定性和大量数据处理方面表现优异，但实时性和灵活性方面存在不足。流式ETL作为一种新兴的数据处理方式，以事件驱动的方式实时处理数据流，极大提高了数据的实时性和灵活性。本文对流式ETL和批处理ETL的优势进行了比较，强调了流式ETL在实时性和灵活性方面的优越性，并指出在特定应用场景中两者的适用性。
离线与实时数据开发方案
诸葛子房的博客
11-18 1945
1.离线数据开发架构 (1)离线数据接入 离线数据来源：MongoDB、MySQL、SQL_Server、Oracle、Log、HBase、Elasticsearch 接入处理：根据不同数据源做适配 存储层：将接入的数据写入HDFS文件，建Hive表进行关联查询 (2)数据仓库分层：主要分为基础层、中间层、应用层 2.实时数据开发 (1)实时数据接入 实数数据源：MySQL...
大数据离线和实时是什么？
最新发布
Zebrawen的博客
05-23 316
离线处理和实时处理的含义

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

嫣然一笑lmz

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值