Flink、Spark、Storm技术对比列表

5 篇文章 0 订阅
3 篇文章 0 订阅
ApacheFlinkSpark StreamingStorm
架构架构介于Spark和Storm之间,主从结构与SparkStreaming相似,DataFlow Grpah与Storm相似架构依赖Spark,每个Batch处理都依赖主(Driver),可以理解为时间维度上的spark DAG。主从模式,且以来Zookeeper,处理过程中对主节点依赖不大。
处理模式NativeMicro-batchNative
容错基于CheckPoint机制WAL及RDD机制Records ACK
处理模型与延迟单条事件处理
亚秒级低延迟
窗口事件处理
秒级高延迟
单条事件处理
亚秒级低延迟
吞吐量HighHighMedium
数据处理保证excatly onceexcatly onceexcatly once
高级APIFlink栈中提供了很多具有高级API和满足不同场景的类库:机器学习、图分析、关系式数据处理能够很容易的对接Spark生态栈里面的组件、同时能够对接主流的消息传输组件以及存储系统。应用需要按照特定的Storm定义的规则编写。
易用性支持SQL streaming,Batch和Streaming采用统一变成框架支持SQL straming,Batch和Streaming采用统一变成框架不支持SQL streaming。
成熟性新兴项目,处于发展阶段已经发展一段时间相对较早的流系统,比较稳定
部署性部署相对简单,只依赖Java环境部署相对简单,只依赖Java环境依赖Java和Zookeeper
  • 3
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值