从时间维度仔细谈谈Flink

为什么要从时间维度讲呢?T+0的是数据实时抽取实时计算,T+1的是数据批量抽取批量计算,Flink似乎把这两种功能都融合在一起了,只不过抽取部分更强调流式,当然现在对于批量抽取和流式抽取讨论上,将流式抽取如果有begin和end阶段,那么与批量抽取所得到的结果是一致的。个人认为这种方式,给数据抽取后的数据计算/数据分析有了更大的灵活性。如下图所示:
_
左边的方式是现阶段的方式,虽然各有用途,但发现数据的流程是一致的,所以说Flink将这两套流程合在一块,如右边所示。为什么说更大的灵活性,因为数据分抽取和计算/分析/服务这两块,把数据抽取做成T+0,其实是给数据计算/分析/服务赢取更多时间维度的计算,再也不是T+0和T+1两种方式,从右图看,我们还可以对介于 T+0与T+1 的数据进行数据计算/分析/服务,这样的话会对这方面需求得以覆盖。所以说T+0的抽取,让下游的使用方式更加灵活,使下游能做的事情更加细腻。
我想T+0和T+1的部分就不要举例了,讲讲介于T+0和T+1之间的一些例子吧。首先强调一点,不是说实时的就是好的,上述的三种方式是要有对应的场景的,要符合数据场景,比如说现在兴起的政企数据中心,比如一网通办,用Flink是一种不错的选择,数据抽取可以是实时的,对于各个数据服务阶段个人认为其实是一种介于T+0与T+1之间服务方式更好,因为需要各部门的协同的,也就是有人员参与的,过分强调T+0对于技术架构和人员上就会有压力,介于之间个人认为更合适。这是最近遇到的一些事情的思考,同时也把对Flink的一些理解加在里面,希望能给大家一些思考。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值