14-Flink-Table-&-SQL

最新推荐文章于 2024-07-17 18:19:02 发布
最新推荐文章于 2024-07-17 18:19:02 发布
阅读量545 收藏 1
点赞数
分类专栏： Flink系统性学习专栏
原创文章禁止转载。否则追究法律后果。
本文链接：https://blog.csdn.net/u013411339/article/details/88143701
版权
Apache Flink提供表API和SQL进行流批处理，两者集成紧密，可在DataStream和DataSet间灵活转换。本文介绍了如何创建TableEnvironment，注册表及TableSink，并给出了Flink SQL的WordCount实战案例。
摘要由CSDN通过智能技术生成

简介

Apache Flink具有两个关系API - 表API和SQL - 用于统一流和批处理。Table API是Scala和Java的语言集成查询API，允许以非常直观的方式组合来自关系运算符的查询，Table API和SQL接口彼此紧密集成，以及Flink的DataStream和DataSet API。您可以轻松地在基于API构建的所有API和库之间切换。例如，您可以使用CEP库从DataStream中提取模式，然后使用Table API分析模式，或者可以在预处理上运行Gelly图算法之前使用SQL查询扫描，过滤和聚合批处理表数据。

Flink SQL的编程模型

创建一个TableEnvironment

TableEnvironment是Table API和SQL集成的核心概念，它主要负责:
　　1、在内部目录中注册一个Table
　　2、注册一个外部目录
　　3、执行SQL查询
　　4、注册一个用户自定义函数(标量、表及聚合)
　　5、将DataStream或者DataSet转换成Table
　　6、持有ExecutionEnvironment或者StreamExecutionEnvironment的引用
一个Table总是会绑定到一个指定的TableEnvironment中，相同的查询不同的TableEnvironment是无法通过join

了解本专栏 订阅专栏 解锁全文 超级会员免费看
王知无(import_bigdata)
关注
专栏目录
订阅专栏
Flink Table原理与代码实例讲解
程序员光剑
07-31 254
Flink Table原理与代码实例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍 1.1 问题的由来 随着大数据时代的到来，数据分析
flink-sql-demo:演示版
03-21
使用Flink SQL，Kafka，MySQL，Elasticsearch和Kibana构建端到端流应用程序。 您可以在此处下载数据： : 这是用于构建将在tuturial中使用的docker的存储库。 博客： ：
FlinkSqlDemo
weixin_40706727的博客
04-13 449
object StreamSQLDemo1 { case class Order(orderId:String,UserID:Int,money:Long,timestamp:Long) def main(args: Array[String]): Unit = { //1.构建flink的流处理运行环境 val env = StreamExecutionEnvironment.getExecutionEnvironment //2.构建table的运行环境 env.
Flink Sql demo
ChengYanan的博客
03-08 501
CREATE TABLE t_stock_match_p_1( id VARCHAR, stkcode INT, volume INT, matchtime TIMESTAMP, WATERMARK FOR matchtime as matchtime ) WITH ( 'connector' = 'kafka-0.10', 'topic' = 'xxx', 'scan.startup.mode' = 'latest-offset', 'properties.group
flink sql demo
caicongyang
07-03 4989
package flink.demo; import com.alibaba.fastjson.JSONObject; import com.enniu.cloud.services.riskbrain.flink.job.EnniuKafkaSource; import java.util.ArrayList; import java.util.HashMap; import java.uti...
18-flink-1.10.1-Table API & Flink SQL
m0_37813354的博客
11-03 708
1Table API 和Flink SQL 是什么 Flink 对流处理和批处理，提供了统一的上层API Table API 是一套内嵌在Java 和Scala 语言中的查询API，它允许以非常直观的方式组合来自一些关系院选符的查询 Flink 的SQL支持基于实现了SQL标准的Apache calcite 2 简单使用table api 和 flink SQL 2.1 引入依赖 ① flink-table-common 通过自定义函数，格式等扩展表生态系统的通用模块。 ② flink-..
95-910-146-源码-FlinkSQL-Flink SQL中TableFunction使用分析
九师兄
10-11 158
1.美图 2.基本使用 ​ 表函数TableFunction相对标量函数ScalarFunction一对一，它是一个一对多的情况，通常使用TableFunction来完成列转行的一个操作。先通过一个实际案例了解其用法：终端设备上报数据，数据类型包含温度、耗电量等，上报方式是以多条方式上报，例如： Devid Time Data Dev01 151325534643 [{“type”:“timperature”,“value”:“10”},{“type”:“battery”,“value”:
flink实战--flinksql自定义table source
阿华田的博客
07-24 1044
自定义FlinkSQL流程总结与案例
95-910-330-源码-FlinkSQL-Calcite-Flink结合Calcite
九师兄
10-11 175
1.世界 2.概述 Apache Calcite是什么东东？ ​ Apache Calcite面向Hadoop新的sql引擎，它提供了标准的SQL语言、多种查询优化和连接各种数据源的能力。除此之外，Calcite还提供了OLAP和流处理的查询引擎。它2013年成为了Apache孵化项目以来，在Hadoop中越来越引人注目，并被众多项目集成。比如Flink/Storm/Drill/Phoenix都依赖它做sql解析和优化。 3.Flink 结合 Calcite ​ Flink Table API&
flink-1.12-sql-demo:基于flink1.12，使用java，flink sql的demo，包含Mylsql，flinkcdc内置的Mysqlcdc
03-28
flink1.12.1 sql演示 个人练习flink的演示。 代码里自带数据生成，附带合适的数据演示。 pom.xml包含了flink绝大部分的依赖，maven下载会比较久。 目前项目内容包含了 环境 Windows 10 ltsc 的Mysql8.0.23 Idea社区版2020.3 海地SQL 环境建设教程： ://www.cnblogs.com/abramgyb/p/14587901.html 流集 使用streamset api编写flink程序 FlinkSQL flink sql api编程程序，实现ETL功能，包含读写Mysql，kafka 源Mysql MysqlCDC 下沉Mysql 使用说明 克隆仓库：git clone 使用idea打开项目 maven下载相关依赖 依赖下载完成后运行demo测试
大数据之flink教程-TableAPI和SQL.pdf
07-27
第一章 整体介绍 2 1.1 什么是 Table API 和 Flink SQL 2 1.2 需要引入的依赖 2 1.3 两种 planner（old & blink）的区别 4 第二章 API 调用 5 2.1 基本程序结构 5 2.2 创建表环境 5 2.3 在 Catalog 中注册表 7 2.3.1 表（Table）的概念 7 2.3.2 连接到文件系统（Csv 格式） 7 2.3.3 连接到 Kafka 8 2.4 表的查询 9 2.4.1 Table API 的调用 9 2.4.2 SQL 查询 10 2.5 将 DataStream 转换成表 11 2.5.1 代码表达 11 2.5.2 数据类型与 Table schema 的对应 12 2.6. 创建临时视图（Temporary View） 12 2.7. 输出表 14 2.7.1 输出到文件 14 2.7.2 更新模式（Update Mode） 15 2.7.3 输出到 Kafka 16 2.7.4 输出到 ElasticSearch 16 2.7.5 输出到 MySql 17 2.8 将表转换成 DataStream 18 2.9 Query 的解释和执行 20 1. 优化查询计划 20 2. 解释成 DataStream 或者 DataSet 程序 20 第三章 流处理中的特殊概念 20 3.1 流处理和关系代数（表，及 SQL）的区别 21 3.2 动态表（Dynamic Tables） 21 3.3 流式持续查询的过程 21 3.3.1 将流转换成表（Table） 22 3.3.2 持续查询（Continuous Query） 23 3.3.3 将动态表转换成流 23 3.4 时间特性 25 3.4.1 处理时间（Processing Time） 25 3.4.2 事件时间（Event Time） 27 第四章 窗口（Windows） 30 4.1 分组窗口（Group Windows） 30 4.1.1 滚动窗口 31 4.1.2 滑动窗口 32 4.1.3 会话窗口 32 4.2 Over Windows 33 1） 无界的 over window 33 2） 有界的 over window 34 4.3 SQL 中窗口的定义 34 4.3.1 Group Windows 34 4.3.2 Over Windows 35 4.4 代码练习（以分组滚动窗口为例） 36 第五章 函数（Functions） 38 5.1 系统内置函数 38 5.2 UDF 40 5.2.1 注册用户自定义函数 UDF 40 5.2.2 标量函数（Scalar Functions） 40 5.2.3 表函数（Table Functions） 42 5.2.4 聚合函数（Aggregate Functions） 45 5.2.5 表聚合函数（Table Aggregate Functions） 47
flink 1.12 SQL Demo
文报的博客
12-24 1690
Flink 版本 1.12.3 source是kafka 维表是MySQL source left join 维表 public class FlinkTableDemo { public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); ...
java Flink（四十）FlinkSql 简单Demo以及具体使用
qq_40771567的博客
07-29 4396
之前FlinkSql用的比较少，今天开始简单介绍一下。 首先导入依赖： <!-- 引入flink table相关依赖--> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-table-planner_2.12</artifactId> <version>1.10.1</version>
Demo：基于 Flink SQL 构建流式应用
iqifenxia的博客
10-31 185
1
整理的一些常用Flink SQL demo
最新发布
qq_41527073的博客
07-17 151
本文整理了一些工作中新手练习具有代表性的Flink SQL，后续有时间会整理出一部分Flink 程序
flink1.12.0学习笔记第4篇-Table与SQL
wt334502157的博客
10-12 586
Flink的Table模块包括 Table API 和 SQL：Table API 是一种类SQL的API，通过Table API，用户可以像操作表一样操作数据，非常直观和方便SQL作为一种声明式语言，有着标准的语法和规范，用户可以不用关心底层实现即可进行数据的处理，非常易于上手Flink Table API 和 SQL 的实现上有80%左右的代码是公用的。作为一个流批统一的计算引擎，Flink 的 Runtime 层是统一的Table API & SQL的特点。
"高性能的Flink-Table与SQL学习指南
4. 应用Flink Table和SQL提高工作效率：学习者将学习如何在实际工作中应用Flink Table和SQL，提高工作效率，包括如何应用Flink Table和SQL进行数据分析、报表生成、实时处理等。 5. 了解Flink Table和SQL的未来发展...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

王知无(import_bigdata)

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值