有离线处理和实时计算对比

最新推荐文章于 2024-09-04 00:32:06 发布
最新推荐文章于 2024-09-04 00:32:06 发布
阅读量4.8k 收藏 8
点赞数
分类专栏： 技术 解决问题 文章标签： 离线处理 实时计算 对比
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_24990561/article/details/87836854
版权

在大数据的数据处理中：有离线处理和实时计算对比

分别在以下四个方面有所区别
1. 存储，即数据来源

离线一般存储在HDFS,而且数据量大
实时计算的话，一般是消息队列，如kalka,需要实时增加
/修改 记录过来的某一时间内的某一批次的数据

2 处理过程，使用框架

离线：MapReduce: Map +　Reduce 
实时：Spark(DStream/SS) 或者 Storm \Flink等其它实时计算框架

3 处理速度，延时差别

离线：速度慢，延迟高，可能要求所决定的吧
实时：速度快，延迟低，有些场景必须实时或者低延时获取数据的结果

4 进程

离线：启动进程，处理完后销毁进行
实时：7*24
qq_24990561
关注
专栏目录
flink实时计算uv，并每天使用离线数据更正计算结果
张小小凡
05-08 1068
文章目录flink实时计算uv，并每天使用离线数据更正计算结果需求思考1.怎么在flink中判断是新用户？2.flink怎么获取离线数据的结果？3.kafka join hive的字段？4.使用常量字段join，后续处理？5.开窗口6.ds1 interval join ds27.后续处理8.夸一下自己代码 flink实时计算uv，并每天使用离线数据更正计算结果 需求 数据一部分发到kafka实时计算，一部分存到hive离线计算。每天用hive计算的结果更正实时计算的结果。 比如hive在2022-05-0
离线计算与实时计算的比较、Presto与Kylin区别、实时需求种类
qq_46045632的博客
01-02 1496
离线计算：就是在计算开始前已知所有输入数据，输入数据不会产生变化，一般计算量级较大，计算时间也较长。例如今天早上一点，把昨天累积的日志，计算出所需结果。最经典的就是 Hadoop 的 MapReduce 方式；一般是根据前一日的数据生成报表，虽然统计指标、报表繁多，但是对时效性不敏感。从技术操作的角度，这部分属于批处理的操作。即根据确定范围的数据一次性计算。 实时计算：输入数据是可以以序列化的方式一个个输入并进行处理的，也就是说在开始的时候并不需要知道所有的输入数据。与离线计算相比，运行时间短，计算量级相对
离线计算与实时计算的对比
weixin_42796403的博客
03-13 4051
离线计算与实时计算的比较 离线需求 就是在计算开始前已知所有输入数据，输入数据不会产生变化，一般计算量级较大，计算时间也较长。例如今天早上一点，把昨天累积的日志，计算出所需结果。最经典的就是Hadoop的MapReduce方式； 一般是根据前一日的数据生成报表，虽然统计指标、报表繁多，但是对时效性不敏感。从技术操作的角度，这部分属于批处理的操作。即根据确定范围的数据一次性计算。 实时需求 输入数据是可以以序列化的方式一个个输入并进行处理的，也就是说在开始的时候并不需要知道所有的输入数据。与离线计算相比，运行
大数据：实时大数据和离线大数据
最新发布
Liu_y_xin的博客
09-04 1088
实时大数据适合对速度要求高、需即时反馈的场景，使用流处理框架和内存型数据库来快速处理数据。离线大数据适合对历史数据的深度挖掘和批量处理，使用分布式存储和批处理框架来处理海量数据。
实时计算与离线计算--前世今生
qq_32486597的博客
03-31 2113
实时计算与离线计算介绍
离线计算,实时计算和流式计算的概念区分
qq_27474277的博客
07-10 4855
离线计算：这个大家都能理解，今天早上一点，把昨天累积的日志，计算出所需结果。一般累积时间较长，计算量级较大，计算时间也较长。实时计算：与离线计算相比，运行时间短，（人可以等待的时间）。（冗余+高性能部件，及算法的优化），计算量级相对较小。强调计算过程的时间要短，即所查当下给出结果。 流式计算：与实时计算相比，时效稍微慢些，实时计算是以主动查询来触发，流失计算是以事务发生及结果变更为触发。强调不累积日
大数据的实时计算和离线计算你理解吗？
2301_79551573的博客
03-22 566
那么实时计算就是用一根水管接在水龙头的出水处另一端连接的就是生产纯净水的机器，特点是可以源源不断的生产纯净水速度很快但是每次只能生产一瓶。而离线计算就是在水龙头下方，先用个水桶来接水，只有当水桶接满了水之后才对其进行纯净水的生产，特点是隔一段时间才能生产一次，每次生产的时间比较长但是每次能生产一桶水。而离线计算的计算逻辑则相对复杂，虽然每次产生的业务价值较大但是效率低不够及时。不管是实时计算还是离线计算，都有着同样的业务目标，那就是根据业务要求把数据源计算处理成业务需要的直接可用的数据结果。
实时和离线，大数据计算引擎谁主沉浮
学而知之@的博客
06-30 2363
摘要：今天分享的主要内容是实时、离线大数据计算引擎的简介和对比，希望通过此文各位同学能收获一二。本文主要内容包括：1、Flink简介2、Spark简介3、F...
数仓建设（离线和实时）
ashan
02-26 5230
文档大纲： 一、数仓基本概念 1. 数据仓库架构 我们在谈数仓之前，为了让大家有直观的认识，先来谈数仓架构，“架构”是什么？这个问题从来就没有一个准确的答案。这里我们引用一段话：在软件行业，一种被普遍接受的架构定义是指系统的一个或多个结构。结构中包括软件的构建（构建是指软件的设计与实现），构建的外部可以看到属性以及它们之间的相互关系。 这里参考此定义，把数据仓库架构理解成构成数据仓库的组件及其之间的关系，画出下面的数仓架构图： 数仓架构 上图中显示的整个数据仓库环境包括操作型系统和数据仓
实时计算 Flink 版应用场景与产品介绍
阿里云技术
12-31 1606
摘要：本文由阿里巴巴高级产品专家陈守元老师分享，详细讲解实时计算 Flink 的具体业务场景并分享实时计算 Flink 的相关应用案例。 内容分为以下四部分： 技术原理 技术应用 应用场景 行业案例 1、技术原理 关于技术原理这部分的介绍，下文主要从通晓原理、容易混淆的四大概念、批处理和流处理的对比、事件触发的流处理四个方面展开介绍。 通晓原理举一反三 从上图所示的关于实时计算 Flink 业务架构图中可以发现，平时在做业务开发或是架构设计的时候，开发人员需要通晓产品背后的技术原理，只有
你知道离线计算和实时计算+流式计算和批量计算的区别
weixin_61711369的博客
01-14 410
知识分享
流式计算、实时计算和离线计算
热门推荐
一个程序员的世界
07-11 1万+
流式计算和批处理计算 实时计算和离线计算 以水为例，Hadoop可以看作是纯净水，一桶桶地搬；而Storm是用水管，预先接好（Topology），然后打开水龙头，水就源源不断地流出来了。 1、流式计算 流式计算：数据实时产生、数据实时传输、数据实时计算、实时展示 代表技术：Flume实时获取数据、Kafka/metaq实时数据存储、Storm/JStorm实时数据计算、Redis实
大数据基础：区分离线数据和实时数据、流式数据处理和批量数据处理
weixin_39266845的博客
11-02 2225
区分离线数据和实时数据、流式数据处理和批量数据处理
实时与离线处理的区分
pengpengsays
08-05 1727
在数据处理时，如果数据是有界的，便是离线处理；如果数据是无界的，便是实时处理。
实时分析、离线线分析、流式计算的区别
weixin_34364071的博客
08-07 2836
2019独角兽企业重金招聘Python工程师标准>>> ...
大数据离线和实时是什么？
Zebrawen的博客
05-23 652
离线处理和实时处理的含义
离线数仓和实时数仓的区别
weixin_49880348的博客
02-27 6271
作者介绍 @车云祥 大宇无限 数据产品负责人 主要负责全公司底层数据治理，构建统一指标体系； 主导 BI 系统、用户画像系统、广告投放平台、广告流量优化等设计工作； 推动 Snaptube、LarkPlayer、Zapee 等明星产品与数据紧密结合，实现高效运转；通过对业务需求深度梳理、数据方案高质量设计、数据分析洞察与优化、营销策略闭环输出的不断实践，帮助公司实现数据驱动业务增长； “数据人创作者联盟”成员。 01数仓架构演变 20世纪70年代，MIT(麻省理工)的研究员致力于..
如何区分大数据离线与实时场景
pengpengsays
02-24 1733
比方说我们以离线处理场景为例，数据从数据源产生以后，我们先给它存起来。你不管存到哪个地方，假设保存的数据是10个GB，这10个GB的数据在后续的运算过程中它是不会增加或者减少的。它就是固定10个GB。我们基于这10个GB的数据，进行运算，这个时候完成的运算就是离线运算。离线运算最适合批处理这种方式来完成。处理完以后得到最终结果后进行输出，做一个保存。以批处理程序它的视角来看，我们处理的数据它是存起来的数据集，它是有边界的数据。存起来是10个G，处理的时候也是10个G，它不会增加和减少。
hadoop离线计算与storm实时计算的细分对比
b_oyidyt的博客
08-30 1531
一、资源调度对比 Hadoop MapReduceV2(Yarn) 框架          Hadoop从 0.23.0 版本开始，Hadoop 的 MapReduce 框架完全重构，发生了根本的变化。新的 Hadoop MapReduce 框架命名为 MapReduceV2 或者叫 Yarn。新旧Hadoop计算框架变化参考链接： https://www.ibm.com/developer...
Storm与Hadoop实时离线计算框架对比解析
大数据领域涵盖了多种技术和框架，主要分为离线计算和实时计算两大类。本复习笔记主要关注实时计算框架——Storm，以及与之对比的Hadoop离线计算框架。 首先，Hadoop是大数据处理的基础，其核心由两个组件构成：...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值