实时流式计算是什么 实时流式计算运用领域

实时流式计算是大数据领域中处理无限、无界数据并追求低延迟的技术。它涉及无限数据、无界数据处理和低延迟处理。在推荐系统、物联网、车联网和金融风控等领域有广泛应用。随着技术发展,如Storm、SparkStreaming和Flink等框架的出现,实时计算在不断优化,其价值日益凸显。
摘要由CSDN通过智能技术生成

实时流式计算,也就是RealTime,Streaming,Analyse,在不同的领域有不同的定义,这里我们说的是大数据领域的实时流式计算。
实时流式计算,或者是实时计算,流式计算,在大数据领域都是差不多的概念。那么,到底什么是实时流式计算呢?
谷歌大神Tyler Akidau在《the-world-beyond-batch-streaming-101》一文中提到过实时流式计算的三个特征:
1、无限数据
2、无界数据处理
3、低延迟

无限数据指的是,一种不断增长的,基本上无限的数据集。这些通常被称为“流数据”,而与之相对的是有限的数据集。
无界数据处理,一种持续的数据处理模式,能够通过处理引擎重复的去处理上面的无限数据,是能够突破有限数据处理引擎的瓶颈的。
低延迟,延迟是多少并没有明确的定义。但我们都知道数据的价值将随着时间的流逝降低,时效性将是需要持续解决的问题。

现在大数据应用比较火爆的领域,比如推荐系统在实践之初受技术所限,可能要一分钟,一小时,甚至更久对用户进行推荐,这远远不能满足需要,我们需要更快的完成对数据的处理,而不是进行离线的批处理。
但是这种模型肯定会带来离线批处理所不存在的两个问题:正确性与时间。
而这也正是实时流式计算的关键点:
1、正确性 一旦正确性有了保证,可以匹敌批处理。
2、时间推导工具 而一旦提供了时间推导的工具,变完全超过了批处理。

总结来说,我们得到的会是一条条的,随着时间流逝不断增长的数据,我们需要进行实时的数据分析,我们要解决大数据量,灾备,时序,时间窗口,性能等等问题。
而实时,流式其实是相对的概念,现在的很多技术更应

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值