干货 | Streaming SQL 的基础

最新推荐文章于 2024-08-28 14:59:56 发布
最新推荐文章于 2024-08-28 14:59:56 发布
阅读量1.4k 收藏 2
点赞数 1

本文来自于 QCon London 2018，分享者来自 Google 的软件开发工程师 Tyler Akidau，其是 Streaming 101 和 Streaming 102 两篇文章的作者。Apache Beam PMC。


在 SQL中执行流式查询意味着什么？流式查询与经典关系查询有什么关系？流和表是相同的东西吗？所有这些与我们都熟悉的程序框架有什么关系？


本文 PPT 下载地址：http://cdn.iteblog.com/ppt/Foundations_of_streaming_SQL_[QCon_London_2018].pptx

https://www.iteblog.com/ppt/Foundations_of_streaming_SQL_[QCon_London_2018].pptx

https://docs.google.com/presentation/d/1wehFa-cDNYjAtkzZLVMu0exo_NUMAYymFf7ipfiVIoc/present?slide=id.g1e086be6ff_0_661（需要梯子）

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

借助于流表二象性来理解流与表的相对性：

  • streams -> tables：一个关于变更的数据流随着时间聚集产生了一个数据表；

  • tables->streams：对一个表的变更的观察，伴随着时间的变化产生了一个数据流（observation这一过程，体现了离散的概念）；

640?wx_fmt=png

非相对论的流&表定义：

  • 表是静态的数据

  • 流是动态的数据

640?wx_fmt=png

640?wx_fmt=png

Beam的模型：抽象出数据处理的四个核心问题（要素）；

  • what: 计算得到什么结果？选择算子和思考算子计算逻辑的过程；

  • where: 对于事件时间而言，在哪里进行计算？窗口

  • when: 什么时候触发结果输出？触发计算，输出结果

  • how: 如何细化结果相关性？提前累加/计算

640?wx_fmt=png

在Beam模型中，使得流和表如何变得更协调：

  • 批处理如何适配所有的这些语义/概念；

  • 流跟有界的和无界的数据集是什么关系；

  • 上页的四个问题如何映射到流/表的体系中？

640?wx_fmt=png

从MapReduce入手，抽象来看，是一个从输入->Map运算->Reduce运算->输出的过程；

640?wx_fmt=png

Map/Reduce两个算子，细分一下每一个都会经历：读->计算->写的过程，图中的箭头，其实也不是一个具体的东西，它只是代表了数据的流向或者数据交换。下一页我们将会看到~

640?wx_fmt=png

数据的流动、交换也是一种抽象，接下来将会经历一个具体化的过程。

640?wx_fmt=png

先确定计算模型整体的输入和输出，按照之前对流/表的定义，其可以被先被确定为表（表是静态的数据）

640?wx_fmt=png

接下来，把Map/Reduce阶段拆开来看，先看Map阶段。

640?wx_fmt=png

以下是一个map算子提供的接口，UDF需要实现它，它可以被拆分为两个部分。

640?wx_fmt=png

下图中高亮为黄色的两个参数，体现了MapRead输出数据的方式，它是一条条离散的记录，因此视为流（见下图）。

640?wx_fmt=png

640?wx_fmt=png

而经过了Map运算之后，将会输出一个新的键值对:K2,V2，它输出给MapWrite的方式仍然是独立的数据记录，因此仍然可视为流（见下图）

640?wx_fmt=png

由于ReduceReduce的输入来自于MapWrite的输出，因此这里也存在着数据交换

640?wx_fmt=png

从两者的API可以看到，map的输出是流，而reduce的输入，其值对应的是一个集合，那么这里便存在着一个聚集（汇聚）的过程，因此Map阶段的整体输出可视为一个表（见下图）。

640?wx_fmt=png

640?wx_fmt=png

整个MapReduce计算模型中，Map阶段都已确定，下面来确定一下Reduce阶段。

640?wx_fmt=png

ReduceRead读取的是一个具体的键，及其对应的值集合，然后传递给Reduce算子进行运算，最终输出一个单值的结果，这中间伴随着数据的流动，可视为流。

640?wx_fmt=png

640?wx_fmt=png

到此，整个MapReduce计算各个部分的数据交换形式如下图：

640?wx_fmt=png

接下来，我们来回答在Beam模型中，流/表如何融合的问题，第一个问题是批处理如何适配这些概念：

  • 表中的数据被读取，形成数据的流动，也就形成了数据流；

  • 流被处理（各种算子）形成新的流，直到发生了一个分组运算（分组运算的属性就是聚集）

  • 分组会将离散的数据汇聚起来，从而使其变成了静态数据，变成了表

  • 接着就是1-3步的重复，直到计算完成

640?wx_fmt=png

回答第二个问题：关于流跟有界数据集和无界数据集的关系：

流是数据的一种动态的形式，对有界和无界数据集都是如此。

这里注意跟以前的一些既有观念进行区分：之前的很多观念人为，流处理的是无界数据集，而批处理主要应用于有界数据集；

640?wx_fmt=png

如何映射这四个问题？

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

想得到怎样的计算结果来选择算子，并填充算子的计算逻辑

640?wx_fmt=png

这个图其实是个动画，建议去web页面上看一下，更能理解这一点。

640?wx_fmt=png

640?wx_fmt=png

对于事件时间而言，在哪里进行计算以得到结果，这了如果是进行聚合计算，则通常需要引入窗口。

640?wx_fmt=png

定义了一个2分钟的翻滚窗口，这就是where

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

在处理时间中，什么时候进行（触发）计算，因为计算依赖于计算框架，所以其触发的时间参考是处理时间。什么时候，涉及到触发器控制结果的输出，对于事件时间还关联到Watermark

640?wx_fmt=png

在框架中指定when语义

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

如何细化结果相关？注意这里为了演示，对when的API调用进行了调整，这里的how产生的结果就是提早聚集触发~

640?wx_fmt=png

640?wx_fmt=png

这四个问题，其实体现了计算模型的演讲过程。

640?wx_fmt=png

640?wx_fmt=png

关于流/表相关性的通用原理：

管道：表+流+运算

表：静态的数据

流：动态的数据

运算：（流|表）->（流|表）的转换

  • 流->流：非分组的（元素级别）的运算；

  • 流->表：分组运算，使得流动的数据变成静态的，从而产生一个表，窗口是一种时间维度上的分组；

  • 表->流：去分组（触发计算）式的运算，将表数据转化为移动的数据，从而产生一个数据流;

  • 表->表：不可能发生，因为从静态数据到静态数据的转变不可能没有数据的动态移动；

640?wx_fmt=png

Streaming SQL

640?wx_fmt=png

关系代数

640?wx_fmt=png

关系随着时间的演进

640?wx_fmt=png

传统的SQL和Streaming 

640?wx_fmt=png

640?wx_fmt=png

注意这里两者的区别，传统的观点是一个时间点的查询，而流式SQL中是一个时间区间的演进；

640?wx_fmt=png

关系代数的封闭性保留了完整的基于时间演进的关系。

640?wx_fmt=png

640?wx_fmt=png

带添加name筛选条件，在之前的每个时间区间中，名为"Frank"的记录都被移除了。

640?wx_fmt=png

分组聚合操作，在每个时间段中，结果集的变化

640?wx_fmt=png

接下来将展示基于时间演进的SQL跟流与表的关系；

640?wx_fmt=png

普通的查询并没有什么特别的

640?wx_fmt=png

但是下图中，当指定了`AS OF SYSTEM TIME‘’`时，则可以查询之前时间段的内容，这体现了时间演进的过程（它得到的是一个点的结果，但是能查询之前某个时间点的结果，体现了时间演进时每个点结果得以保存的过程），而不是传统SQL中只保留当前时间点截止所演进的结果。

640?wx_fmt=png

这依然是一个动画的展示，展示了12:00发起的一个流式SQL（SELECT后面跟了STREAM关键字），查询结果演进的过程；

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

表：捕获的是关系随着时间演进过程中某个时间点的快照（结果）

流：捕获的是关系随着时间演进过程中的进化（过程）

640?wx_fmt=png

640?wx_fmt=png

什么时候你需要SQL基于流式的扩展呢？

作为一个表：SQL的扩展几乎不需要，因为它代表着静态的数据；

作为一个流：SQL扩展有时需要

640?wx_fmt=png

什么时候需要？

  • 显式的表/流查询；

  • 默认的表/流查询（任何输入时流，那么输出也是一个流，此时会需要）

  • 时间戳和窗口（事件时间相关的列）

  • 一些触发器的SQL形式的表达

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png


猜你喜欢

欢迎关注本公众号：iteblog_hadoop:

0、回复 电子书 获取 本站所有可下载的电子书

1、Apache Spark 统一内存管理模型详解

2、HDFS 副本存放磁盘选择策略详解

3、盘点2017年晋升为Apache TLP的大数据相关项目

4、干货 | 深入理解 Spark Structured Streaming

5、Apache Spark 黑名单(Blacklist)机制介绍

6、Kafka分区分配策略(Partition Assignment Strategy)

7、Spark SQL 你需要知道的十件事

8、干货 | Apache Spark 2.0 作业优化技巧

9、[干货]大规模数据处理的演变(2003-2017)

10、干货 | 如何使用功能强大的 Apache Flink SQL

11、更多大数据文章欢迎访问https://www.iteblog.com及本公众号(iteblog_hadoop) 12、Flink中文文档：http://flink.iteblog.com 13、Carbondata 中文文档：http://carbondata.iteblog.com

640?wx_fmt=png

Hadoop技术博文
关注
Streaming SQL 基础
weixin_42852136的博客
11-01 223
本文从实时数据处理的基本问题和原理入手，讲述其计算模型的基本概念和解决的问题思考方式。（What/Where/When/How) 原文https://www.slidestalk.com/s/foundations_of_streaming_sql_qcon_london_201822456 ...
干货 | 百万QPS，秒级延迟，携程基于实时流的大数据基础层建设
携程技术
04-01 581
作者简介纪成，携程数据开发总监，负责金融数据基础组件及平台开发、数仓建设与治理相关的工作。对大数据领域开源技术框架有浓厚兴趣。一一、背景2017年9月携程金融成立，本着践行金融助力旅行的...
SQL On Streaming
weixin_34248487的博客
10-31 267
此文已由作者岳猛授权网易云社区发布。欢迎访问网易云社区，了解更多网易技术产品运营经验。实时计算的一个方向实时计算未来会成为一个趋势，基本上所有的离线计算任务都能通过实时计算来完成，对于实时计算来算，除了性能，延迟性和吞吐量这些硬指标要求以外，我觉得易用性上面应该是未来的一个发展方向，毕竟现在的实时计算入storm，flink，sparkstreaming等都是通过API来进行的，这些使用起来都不太...
【颠覆数据处理的利器】全面解读Apache Flink实时大数据处理的引擎-上篇
KKwan的博客
08-07 1065
Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink 被设计为在所有常见的集群环境中运行，以内存速度和任何规模执行计算。事件驱动的应用程序是一种有状态的应用程序，它从一个或多个事件流中提取事件，并通过触发计算、状态更新或外部操作对传入事件做出反应。事件驱动型应用程序是传统应用程序设计的演变，具有分离的计算层和数据存储层。在此架构中，应用程序从远程事务数据库读取数据并将数据保存到其中。相比之下，事件驱动型应用程序基于有状态的流处理应用程序。
Calcite - StreamingSQL
weixin_34248705的博客
04-27 202
https://calcite.apache.org/docs/stream.html   Calcite’s SQL is an extension to standard SQL, not another ‘SQL-like’ language. The distinction is important, for several reasons: Streaming SQL is ...
Streaming SQL 速查表（一）：开源流式数据库 RisingWave
最新发布
https://risingwave.com/
08-28 959
流式 SQL 是一种将声明式 SQL 的强大功能引入实时数据流的方法。使用流式 SQL 能在数据事件生成时立刻进行分析，从而即时获取有用信息。RisingWave Streaming SQL 是 RisingWave 处理流数据的 SQL 变体，且由于 RisingWave 与 PostgreSQL 兼容，许多语句与 PostgreSQL 中的语句相似，使得其应用更加方便。
Structured Streaming SQL
最慢的步伐不是跬步，而是徘徊；最快的脚步不是冲刺，而是坚持
04-22 7699
package Spark import org.apache.spark.sql.{DataFrame, SparkSession} /** * 使用Structured Streaming读取Socket数据，把单词和单词的反转组成 json 格式写入到当前目录中的file文件夹中 * （abc,cba） */ object demo01 { def main(args: A...
干货 | 携程风控数据仓库实践
携程技术
10-29 3535
作者简介K.Y.Xing，携程高级开发经理，对高并发数据处理，流式数据处理，风控大数据处理，用户行为分析有浓厚兴趣。一、引言携程风控包括了酒店，机票，度假，火车票等所有携程产线的支付风...
干货 | Flink Connector 深度解析
Hadoop技术博文
08-22 2020
作者介绍：董亭亭，快手大数据架构实时计算引擎团队负责人。目前负责 Flink 引擎在快手内的研发、应用以及周边子系统建设。2013 年毕业于大连理工大学，曾就职于奇虎 3...
干货 | Spark 2.4 高阶函数介绍
Hadoop技术博文
11-29 927
Apache Spark 2.4 在近期已经发布了（参见Apache Spark 2.4 正式发布，重要功能详细介绍），其中为我们带来了24个内置操作数组和 map 的函...
干货 | 携程机票 App Kotlin Multiplatform 初探
携程技术中心
06-12 2720
作者简介陈琦，携程机票研发部无线研发总监，负责携程App机票业务的技术研发和管理工作。从2017年9月到2019年5月，经过一年半的努力，携程机票App团队完成 90% ...
Flink Streaming SQL 基础
11-19
Flink Streaming SQL 基础 Flink Streaming SQL 基础 Flink Streaming SQL 基础
深入理解Flink Streaming SQL
weixin_33997389的博客
12-12 645
序言 时效性提升数据的价值，所以Flink这样的流式(Streaming)计算系统应用得越来越广泛。 广大的普通用户决定一个产品的界面和接口。 ETL开发者需要简单而有效的开发工具，从而把更多时间花在理业务和对口径上。 因此流式计算系统都趋同以SQL作为唯一开发语言，让用户以Table形式操作Strea...
Flink Streaming SQL
m0_47231659的博客
08-15 328
Flink Streaming SQL0.核心概念0.1 流 VS 表0.2 动态表0.3 流表⼆像性1.处理流程1.1流转换为动态表1.1.1 追加模式1.1.2 更新模式1.2 动态表的查询1.2.1 连续查询1.2.3 动态表转换为流2. Flink Stream SQL 编程2.1 开发流程2.2 TableEnvironment2.3 Catalog2.4 数据类型2.5 TableSource( 数据源)2.6 DDL2.7 Connector & Formats2.8 DML2.9 T
我也能写数据库 —— Streaming(上)
麒思妙想
01-20 373
概述在前面两篇中介绍了存储和UDF，然后就开始着手准备streaming了，开始走了些弯路，本以为需要构建起一个简单的流系统，才能写streaming sql呢，所...
Structured Streaming sql
weixin_35752233的博客
12-30 139
Structured Streaming 是 Apache Spark 的一种流式处理引擎，它可以帮助我们对流式数据进行转换、处理和聚合。Structured Streaming 使用了基于 SQL 的语法，因此我们可以使用熟悉的 SQL 语句来对流式数据进行操作。例如，我们可以使用以下 SQL 语句对流式数据进行过滤： SELECT * FROM stream WHERE value > ...
Flink 1.11 新特性之 SQL Hive Streaming 简单示例
小东升职记
07-23 349
7月7日，Flink 1.11 版本发布，与 1.10 版本相比，1.11 版本最为显著的一个改进是 Hive Integration 显著增强，也就是真正意义上实现了基于 Hive 的流批一体。 本文用简单的本地示例来体验 Hive Streaming 的便利性并跟大家分享体验的过程以及我的心得，希望对大家上手使用有所帮助。 添加相关依赖 测试集群上的 Hive 版本为 1.1.0，Hadoop 版本为 2.6.0，Kafka 版本为 1.0.1。 <properties> &l
spark streaming整合sparksql
大数据训练营
07-13 8489
在streaming中使用sparksql对apache服务器日志进行统计 package youling.studio.streaming import org.apache.spark.sql.SQLContext import org.apache.spark.{SparkContext, SparkConf} import org.apache.spark.streaming.{Str
Storm over Gearpump & StreamingSQL on Spark解析
zhong930的博客
01-12 293
在由 Intel 主办、Cloudera China赞助的第二次上海大数据流处理聚会上，来自 Intel，大众点评与 Cloudera 的大数据工程师与大家分享时下大数据流处理最火热的话题。张天伦：Storm over GearpumpIntel大数据工程师张天伦演讲开始前，张天伦通过介绍自己的工作表达了对streaming的兴趣，并向大家推荐自己搜集在github上的projects，希望有更多...
干货 | spark streaming 和 flink 详细对比
06-28
Spark Streaming 和 Flink 都是流处理框架，但在一些方面有所不同。 1. 数据处理模型 Spark Streaming 基于批处理模型，将流数据分成一批批进行处理。而 Flink 则是基于流处理模型，可以实时处理数据流。 2. 窗口...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值