大数据框架 Flink、Blink、Spark Streaming、Structured Streaming 和 Storm 之间的区别

最新推荐文章于 2023-01-22 11:45:16 发布
最新推荐文章于 2023-01-22 11:45:16 发布
阅读量1.3k 收藏 3
点赞数 1
分类专栏： 大数据实时计算引擎 Flink 实战与性能优化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tzs_1041218129/article/details/108728710
版权
本文详细对比了实时计算框架Flink、Blink、Spark Streaming、Structured Streaming和Storm之间的区别。Flink擅长处理流数据和批数据，Blink是阿里在Flink基础上的增强版，拥有更强大的SQL API。Spark Streaming基于微批处理，而Structured Streaming以数据表的形式处理流数据。Storm则是一个分布式实时计算系统，确保每个消息都被处理。Flink在低延迟和API完善性方面具有优势，而Spark生态系统成熟，新版本的Structured Streaming功能类似Flink。
摘要由CSDN通过智能技术生成

在 1.2 节中已经跟大家详细介绍了 Flink，那么在本节就主要 Blink、Spark Streaming、Structured Streaming 和 Storm 的区别。

Flink

Flink 是一个针对流数据和批数据分布式处理的引擎，在某些对实时性要求非常高的场景，基本上都是采用 Flink 来作为计算引擎，它不仅可以处理有界的批数据，还可以处理无界的流数据，在 Flink 的设计愿想就是将批处理当成是流处理的一种特例。

在 Flink 的母公司 Data Artisans 被阿里收购之后，阿里也在开始逐步将内部的 Blink 代码开源出来并合并在 Flink 主分支上。

阿里巴巴收购 Data Artisans

而 Blink 一个很强大的特点就是它的 SQL API 很强大，社区也在 Flink 1.9 版本将 Blink 开源版本大部分代码合进了 Flink 主分支。

Blink

Blink 是早期阿里在 Flink 的基础上开始修改和完善后在内部创建的分支

了解本专栏 订阅专栏 解锁全文
zhisheng_blog
关注
专栏目录
订阅专栏
写在开头：Blink开源，Spark3.0，谁才是大数据领域最闪亮的星？
微信搜：import_bigdata，大数据领域硬核原创作者
03-13 3183
2018和2019年是大数据领域蓬勃发展的两年，自2019年伊始，实时流计算技术开始步入普通开发者视线，各大公司都在不遗余力地试用新的流计算框架，实时流计算引擎Spark Streaming、Kafka Streaming、Beam和Flink持续火爆。 最近Spark社区，来自Databricks、NVIDIA、Google以及阿里巴巴的工程师们正在为Apache Spark 3.0添加......
_LIST_ENTRY 中的flink和blink
懒羊羊的梦想
01-25 643
这里的flink和blink要注意一下，flink指的是下一个，blink指的是前一个。和一开始想的方向是反着的。
Structured Streaming VS Flink
大数据星球-浪尖
01-08 2250
flink是标准的实时处理引擎，而且Spark的两个模块Spark Streaming和Structured Streaming都是基于微批处理的，不过现在Spark S...
新一代实时计算领域Flink独树一帜，你知道Blink的关系吗
最新发布
weixin_61711369的博客
01-22 279
知识分享
阿里蒋晓伟谈流计算和批处理引擎Blink，以及Flink和Spark的异同与优势
weixin_33935777的博客
07-04 1014
首届阿里巴巴在线技术峰会（Alibaba Online Technology Summit），将于7月19日-21日 20:00-21:30 在线举办。本次峰会邀请到阿里集团9位技术大V，分享电商架构、安全、数据处理、数据库、多应用部署、互动技术、Docker持续交付与微服务等一线实战经验，解读最新技术在阿里集团的应用实践。 7月19日晚8点，阿里搜索事...
SparkStreaming, StructedStreaming, KafkaStream,Storm,Flink 几大常见实时流计算引擎的对比
qq_40625030的博客
12-29 2350
目前开源大数据实时计算引擎有很多选择,我们可以对他们大致分为流处理和 批处理 第一类是流处理(Native Streaming):这类引擎中所有的data在到来的时候就会被立即处理，一条接着一条（HINT： 狭隘的来说是一条接着一条，但流引擎有时会为提高性能缓存一小部分data然后一次性处理），其中的代表就是Storm,Samza,Flink,KafkaStream第二类是批处理(micro-b...
【计算引擎】SparkStreaming、StructuredStreaming、Flink、Storm 对比
孟知之的搬砖填坑历险记
04-04 1564
Spark Streaming Spark Streaming 是Spark Core 的扩展，可实现实时数据的快速扩展，高吞吐量，容错处理。数据可以从很多来源（如 Kafka、Flume、Kinesis 、HDFS、Twitter等）中提取，并且可以通过很多函数（能够和Spark Core、Spark SQL来进行混合编）来处理这些数据，处理完后的数据可以直接存入数据库或者 Dashboard...
Spark和Flink的区别
ThreeAspects的博客
05-14 5539
Flink在进行集合的迭代转换时可以是循环或是迭代计算处理。这使得Join算法、对分区的链接和重用以及排序可以选择最优算法。当然flink也是一个很强大的批处理工具。flink的流式处理的是真正的流处理。流式数据一但进入就实时进行处理，这就允许流数据灵活地在操作窗口。它甚至可以在使用水印的流数中处理数据（It is even capable of handling late data in streams by the use of watermarks）。此外，flink的代码执行引擎还对现有使用stor
spark Streaming的使用
pengfeijiuwanli的博客
05-16 295
Spark Streaming Spark Streaming是构建在Spark 批处理之上一款流处理框架。与批处理不同的是，流处理计算的数据是无界数据流，输出也是持续的。Spark Streaming底层将Spark RDD Batch 拆分成 Macro RDD Batch实现类似流处理的功能。因此spark Streaming在微观上依旧是批处理框架。 批处理 VS 流处理区别 ​ 数据形式
一文让你彻底了解大数据实时计算引擎 Flink
GitChat
02-29 2962
不知道你是否有过和我类似的经历？ 我是 2018 年 6 月加入公司，一直负责监控平台的告警系统。之后，我们的整个监控平台架构中途换过两次，其中一次架构发生了巨大的变化。我们监控告警平台最早的架构如下图所示： 这个架构的挑战难点在于： 海量的监控数据（Metric & Log & Trace 数据）实时写入 ElasticSearch； 多维度的监控指标页面展示（Dashboa...
漫谈加持Blink的Flink和Spark
allwefantasy的专栏
01-28 453
前言 今天朋友圈有篇【阿里技术】发的文章，说Blink的性能如何强悍，功能现在也已经比较完善。譬如： Blink 在 TPC-DS 上和 Spark 相比有着非常明显的性能优势，而且这种性能优势随着数据量的增加而变得越来越大。在实际的场景这种优势已经超过 Spark 三倍，在流计算性能上我们也取得了类似的提升。我们线上的很多典型作业，性能是原来的 3 到...
Spark Stream、Kafka Stream、Storm和Flink对比，以及阿里巴巴基于Flink打造的Blink解决的问题
Johnson8702的博客
08-30 8080
一、Spark Stream、Kafka Stream、Storm等存在的问题 在设计一个低延迟、exactly once、流和批统一的，能够支撑足够大体量的复杂计算的引擎时，Spark Stream等的劣势就显现出来。Spark Streaming的本质还是一个基于microbatch计算的引擎。这种引擎一个天生的缺点就是每个microbatch的调度开销比较大，当我们要求的延迟越低，额外的开...
Hadoop、spark、Flink、Blink、storm介绍
影子
03-08 1595
1、什么是hadoop（搭建集群） Hadoop是由java语言编写的，在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架，其核心部件是HDFS与MapReduce。 HDFS是一个分布式文件系统：引入存放文件元数据信息的服务器Namenode和实际存放数据的服务器Datanode，对数据进行分布式储存和读取。 MapReduce是一个计算框架：MapReduce的核心思想是把计算任务分配给集群内的服务器里执行。通过对计算任务的拆分（Map计算/Reduce计算）再根据任务调度器（JobT
Spark Streaming与Flink Streaming速度对比
u010906369的专栏
06-24 1241
对比方法： 1、写入Kafka一个时间戳。 2、使用Spark 的 Structured Streaming 去消费，解析出时间戳，使用当前时间戳减去第一步里面的时间戳，输出耗时 3、同时使用Flink消费第一步的时间戳，使用当前时间戳减去这个时间戳，输出耗时。 4、结论：(1)、Structured Streaming 准实时处理，延时340毫秒左右。 ...
flink Blink Planner 和 old Planner的区别
weixin_42133361的博客
12-23 539
Blink Planner Blink Planner 不论输入数据源是流式的还是批式的，Table API 和 SQL 查询都会被转换成 DataStream 程序。查询在内部表示为逻辑查询计划，并被翻译成两个阶段： 优化逻辑执行计划 翻译成 DataStream 程序 Table API 或者 SQL 查询在下列情况下会被翻译： 1、当 TableEnvironment.execute
Flink Blink Planner和Older Planner的区别
Aspirin's Nest
12-20 1613
Blink做到了真正的流批统一，即将批看做是特殊的流，把处理批的API和处理流的API做成了一样的。也就是说不管是批数据还是流数据，底层统统都是DataStream。所以使用Blink作为table planner的程序，Table和DataSet是不能相互转换的。 由于第一条原因的关系，Blink planner是不支持BatchTableSource的，它只支持StreamTableSource。 Blink Planner和Old Planner的FilterableTableSource是不兼容的.
Blink和Flink社区近况
Baron_ND的博客
09-14 860
聊聊Blink开源和Flink社区近况 前几天 Blink 开源的消息刷了朋友圈，因为笔者一直关注着社区的发展。所以今天想从我个人的角度来聊聊 Blink 开源，社区 merge Blink 的计划，以及最近发生的一些很有意义的事情。 Blink 开源 这次 Blink 开源的主要目的是让社区的开发者们能尽早地尝试一些他们感兴趣的功能与改进。我觉得最核心的贡献包括： Stream SQL 的新功能和性能优化：如维表Join、TopN、支持迟到数据和提早输出的Window、有效解决Agg数据倾斜问题等
Flink/Blink 原理漫谈（零）运行时的组件
Foools的博客
02-02 5846
系列文章目录 文章目录系列文章目录前言 谈谈blink和flinkBlink原理漫谈零、 Flink运行时的组件JobManagerTaskManagerResourceManagerDispatcher任务提交流程 前言 谈谈blink和flink 在实习时候接触到了flink，这玩意实现了大促期间的实时大数据更新，这对我们这种只写过python，c++啥玩意的来说闻所未闻，所以了解了一下flink的原理，并且尝试使用了公司的blink，在学习时间之余，整理了所有的学习笔记，目的也是分享学习。 A
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

zhisheng_blog

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值