流处理的简单理解

我认为可以用工厂里的流水线来类比流处理。相比于传统的数据处理的最主要的区别在于:
传统处理:等所有需要的数据都准备好了再做计算,就像我们要造一台汽车,需要等汽车所有的零件都到了,我们再开始组装成车。
流处理:数据来了就计算。来一部分零件就装一部分。

流处理关注的问题:

  • 数据的时序性,数据是有先后的,就像组装汽车时要先装骨架、轮子,再喷漆、测试(实际的流程可能不是这样的,只是做个类比)。
  • 状态性,一般来讲,对于数据的处理会依赖于之前的计算,就像装车时,我们要知道车装到哪一步了,加入上一步是拧了螺丝,我要知道是几号螺丝,好用对应的螺帽。再比如说做用户访问统计时,要知道上次的统计量,然后累加。
  • 数据管道支持,一般对于数据的处理会有好多步,比如说汽车的框架要先搭好架子、再抛光、喷漆。流处理要做好数据处理工序的衔接。
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值