大数据流式处理框架Flink介绍

本文介绍了大数据流式处理框架Flink,探讨了Flink与Hadoop、Spark的对比,强调了Flink在实时计算的准确性和性能优势。Flink支持批处理、流处理和SQL,并具备强大的状态管理和容错能力,广泛应用于阿里巴巴等企业。
摘要由CSDN通过智能技术生成

1、Flink的介绍        

随着数据的飞速发展,出现了很多热门的开源社区,比如:hadoop、spark、storm社区,他们都有各自专注的适用场景,比如hadoop主要是做数据的存储及批处理计算,spark既可以做批处理也可以做准实时计算,同时也支持机器学习和图计算,storm主要专注于实时计算。

        在国外一些开源社区将flink分为四代:

hadoop:

主要是做批处理的,分为Map阶段和reduce阶段,如果业务非常复杂,会有多个map阶段和reduce阶段,因为两个阶段都有输入和输出,所以需要根据业务进行拆分阶段,同时mr的计算依赖的是io,所以性能比较低

 使用DAG(Tez)+MR

通过引入DAG框架,将多个mr阶段串联到一起去执行,类似于我们之前学习的Oozie框架,因为使用的是第三方的DAG框架,相对于第一代来说,性能有了提高

 Spark

spark可以做批计算、流计算、以及sql支持

spark自带了DAG,同时是基于内存的迭代计算,因此性能有了非常大的提高

问题?

为什么在企业中很多公司依然使用Mr进行离线计算?

主要是Mr的稳定性要远远的大于Spark,因为Mr是基于i

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大数据动物园

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值