一决高下,分布式流处理框架孰优孰劣

本文PPT来自技术专家毛玮于10月16日在2016年杭州云栖大会上发表的《分布式流处理框架--功能对比和性能评估》。

目前,分布式流处理框架数量不少,各有特色,究竟哪个性能更好、哪个效率更高、哪个更适合我呢?一般来说,当选择不同的流处理系统时,我们往往需要关注以下六大方面:1.运行时和编程模型2.函数式原语3.状态管理 4.消息传输保障 5.容错 6.性能。

其中,运行时模型主要包括原生的流处理和微批处理。流处理意味着所有输入的记录一旦到达即会一个接着一个进行处理,微批处理则把输入的数据按照某种预先定义的时间间隔分成短小的批量数据,流经流处理系统。编程模型一般分为组合式和声明式。组合式编程提供基本的构建模块,它们必须紧密结合来创建拓扑,相对应地,声明式API操作是定义的函数。

在下面的图中我们不仅会具体介绍每个要点,而且还会列出主流的框架,如Spark Streaming、Storm、Flink、Heron框架的性能对比测试结果数据。

c060971ac4de3ca279af9fe3356609cd34004360


10951ecaa791504b4042ed21961de925b13314ed

6408d63b6afaae86500d391753beb63ed652a139

1de09d7f4f7cb02460e7c355a598fb77529b1441

1e4113599f69e4c9c96040c01ec4374ba6ef4193

186946959b7a50c0978ddbff567615543189c0a4

218f012ceb890d08dd4e3d800b2c1da28165e465

25ec173c4a4a8419cace969ec585634eb1100cca

ec754530d225d39dbcc2a926ca5014c1615612db

f2262a5442d810056e1b1561b870cb9573bae2d0

7665d61e0a071ea670a775c3eaa0721761b67e26

460aeec6adb58c5081e1c90180bcb6b92218842b

ffc431e90c721d2df29562c1a2be939e023bdf93

ee58c03b044c4f9c0e7d9f412e58964786c36e8b

6d20aaaff6db49582b1a26daa975ff8f81c237f4

77c87a96d16f41c88518fcd5a51bab8ff9ae0383

260d1a3a13654485aa5f125e768d323f03aad02a

f2d17d30d4a2ed04cc23ba1ef0d8e36c5ff0dc1e





  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值