Spark(48) -- Structured Streaming

最新推荐文章于 2022-07-26 14:28:40 发布

erainm

最新推荐文章于 2022-07-26 14:28:40 发布

阅读量358

点赞数

分类专栏：大数据学习文章标签： spark

本文链接：https://blog.csdn.net/eraining/article/details/109080441

版权

大数据学习专栏收录该内容

148 篇文章 5 订阅 ¥49.90 ¥99.00

订阅专栏

超级会员免费看

Apache Spark的Structured Streaming是一个基于Spark SQL引擎的流处理框架，它提供了与批处理相同的API，支持Event Time处理，并解决了Spark Streaming的不足。Structured Streaming将流数据视为无限动态表格，允许用户以SQL或DataFrame/Dataset API进行实时查询。它支持端到端的应用程序，具有exactly-once语义，并复用了Spark SQL的执行引擎以实现高性能。

摘要由CSDN通过智能技术生成

在这里插入图片描述
Apache Spark在2016年的时候启动了Structured Streaming项目，一个基于Spark SQL的全新流计算引擎Structured Streaming，让用户像编写批处理程序一样简单地编写高性能的流处理程序。
Structured Streaming并不是对Spark Streaming的简单改进，而是吸取了在开发Spark SQL和Spark Streaming过程中的经验教训，以及Spark社区和Databricks众多客户的反馈，重新开发的全新流式引擎，致力于为批处理和流处理提供统一的高性能API。同时，在这个新的引擎中，也很容易实现之前在Spark Streaming中很难实现的一些功能，比如Event Time（事件时间）的支持，Stream-Stream Join（2.3.0 新增的功能），毫秒级延迟（2.3.0 即将加入的 Continuous Processing）。