flink实战--flinksql的DDL创建source和sink表

最新推荐文章于 2024-12-05 18:59:32 发布

阿华田512

最新推荐文章于 2024-12-05 18:59:32 发布

阅读量5.8k

点赞数 1

分类专栏： Flink学习必读系列文章标签： flink 大数据

本文链接：https://blog.csdn.net/aA518189/article/details/104705295

版权

Flink学习必读系列专栏收录该内容

70 篇文章 561 订阅 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

本文详细介绍了如何在Flink中使用DDL语句创建Source和Sink表，涵盖了数据格式依赖、Flink 1.9后的Blink Planner使用、时间属性和水印、DDL语法等多个方面，并通过多个案例展示了创建Kafka、Elasticsearch和Hbase表的步骤。同时，讨论了数据解析失败处理、字段映射和大小写敏感等问题。

摘要由CSDN通过智能技术生成

扫一扫加入大数据公众号和技术交流群，了解更多大数据技术，还有免费资料等你哦

简介

Flink1.9之后，flinkSQL支持了DDL语句。很方便我们去创建sql语句中需要的数据源表（source）和数据存储表(sink),但是最近看很多人使用flinkSQL的DDL语句还是会遇见各种问题，今天详细总结一下flinkSQL的DDL语句使用步骤。

依赖准备

<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-table-api-java-bridge_2.11</artifactId>
  <versi

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

阿华田512

关注关注

1
点赞
踩
3

收藏

觉得还不错? 一键收藏
2
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

flink实战--flinkSQL入门大全

阿华田的博客

11-12

2万+

FlinkSQL概念介绍 Table API & SQL Apache Flink具有两个关系API - 表API和SQL - 用于统一流和批处理。Table API是Scala和Java的语言集成查询API，允许以非常直观的方式组合来自关系运算符的查询，Table API和SQL接口彼此紧密集成，以及Flink的DataStream和DataSet A...

flink实战--flinksql使用Streaming Sink将数据流写入文件系统

阿华田的博客

09-22

1558

扫一扫加入大数据公众号和技术交流群，了解更多大数据技术，还有免费资料等你哦 Streaming Sink简介 Streaming Sink支持流的写操作，基于Flink的流文件接收器将数据写入文件。行编码格式是csv和json。批量编码的格式有parquet, orc和avro。极大的方便了我直接编写SQL，将流数据插入到非分区表中。如果是分区表，则可以配置分区相关的操作，本篇文章将详细介绍Streaming Sink相关的概念和使用方式。滚动策略 ...

2 条评论您还未登录，请先登录后发表或查看评论

阿里实时任务计算blink调优技巧

启迪思维，精进技术

08-23

1235

watermark MiniBatch 的优势： 1.提升吞吐 2.减少 state 访问 3.减少序列化/反序列化的开销 4.减少输出，降低对下游压力表示整个job允许的延迟 blink.miniBatch.allowLatencyMs=5000 单个batch的size blink.miniBatch.size=1000 miniBatch设置: 该设置只能优化group by。 Stre...

Flink Table & SQL 自定义TableSource、TableSink

王佩的CSDN博客

04-19

5764

Flink Table & SQL中提供了非常丰富的接口来让我们自定义TableSource、TableSink。自定义TableSource或TableSink，需要将以下两点结合起来: 了解不同TableSource接口、TableSink接口、TableFactory接口提供的功能以及适用的场景。看JDBCTableSource、JDBCUpsertTableSink源码...

Flink SQL 实战：从基础开发到 Kafka 与 MySQL 交互

最新发布

天冬忘忧的博客

12-05

1736

在大数据处理领域，Apache Flink 凭借其强大的流批一体处理能力备受青睐，而 Flink SQL 更是为开发者提供了高效便捷的数据处理方式，能以类 SQL 的语法轻松应对复杂的数据场景。今天，就让我们深入探究 Flink SQL 的开发步骤、核心概念以及常见的使用案例，包括与 Kafka 和 MySQL 的联动操作。

Flink Sql-用户自定义 Sources & Sinks

bigdatakenan的博客

06-13

1489

在许多情况下，开发人员不需要从头开始创建新的连接器，而是希望稍微修改现有的连接器或 hook 到现有的 stack。在其他情况下，开发人员希望创建专门的连接器。本节对这两种用例都有帮助。它解释了表连接器的一般体系结构，从 API 中的纯粹声明到在集群上执行的运行时代码实心箭头展示了在转换过程中对象如何从一个阶段到下一个阶段转换为其他对象。

flink sql 的 source / sink 原理

张不帅

11-08

2646

文章目录source source 对于flink sql 中的source 无奈就两种 .流表比如数据源是kafka 或者mq等动态数据源维表数据源是mysql/hbase/redis等静态数据源 datastream 定义一个source的基本内容 source , sink 的connector 连接配置信息(sql中connector) source , sink的序列化方式信息(sql 中format字段) source,sink的字段信息 (sql source ,sink field

Flink SQL(基础实践)

weixin_66034213的博客

04-29

5664

第一章核心概念 1.1、动态表和连续查询动态表（Dynamic Tables）是Flink的支持流数据的Table API 和SQL的核心概念。动态表是随时间变化的，可以像查询静态批处理表一样查询它们。查询动态表将生成一个连续查询（Continuous Query）.一个连续查询永远不会终止，结果会生成一个动态表，查询不断更新其（动态）结果表，以反映其（动态）输入表上的更改。需要注意的是，连续查询的结果在语义上总是等价于以批处理模式在输入表快照上执行的相同查询的结果。 1、将流转换为动态表

flink实战--flinksql从基础到进阶必会知识点终极总结

阿华田的博客

07-24

878

随着社区FlinkSQL功能越来越完善，处理实时\离线数据相比于DataStream更加简单高效。因此FlinkSQL已经成为学习Flink中最重要的模块之一。虽然FlinkSQL相比DataStream使用起来简单高效，但是很多语法（DML,DDL,UDF,窗口聚合，实时topN等）还是需要一定学习成本，为了让大家快速全面的掌握FlinkSQL,本文将从全局视角梳理FlinkSQL中必学的知识点。.....................

flink实战--⼤状态作业调优实践指南-Flink SQL 作业篇

阿华田的博客

06-04

627

作为一种特定领域语言，SQL 的设计初衷是隐藏底层数据处理的复杂性，让用户通过声明式语言来进行数据操作。而Flink SQL 由于其架构的特殊性，在实现层面通常需引入状态后端配合 checkpoint 来保证计算结果的最终一致性。目前 Flink SQL 生成状态算子的策略由优化器根据配置项 + SQL 语句来推导，想要在处理有状态的大规模数据和性能调优方面游刃有余的话，用户还是需要对 SQL 状态算子生成机制和管理策略有一定了解。

Flink 1.9 实战 SQL-- 实践补充

qq_31866793的博客

09-04

3417

这个代码云邪分享的，已经实践，这里只是补充一点注意事项： 1，在文中的jar要下载了，直接复制地址，然后放入flink lib目录下，最后一定一定要重启Flink集群（不重启的后果就是报错找不到kafka，或者找不到mysql jdbc） 2，第二点是mysql的表，要自己去设置主键，要不然每次结果都是新增 3，还有你的环境可能是在window开发 linux运行，可以自己封装一下执行脚本，...

FlinkSQL编程.pdf

07-17

Flink 2019峰会阿里大牛的技术，在线教程有github:**，第6个文档简明扼要的讲解Flink的SQL api及源码分析和运行原理。值得收藏

Flink SQL

Shawn的个人博客

04-16

1360

# 创建数据库# 举例## 查询数据库# 查询当前数据库# 修改数据库# 删除数据库# RESTRICT：删除非空数据库会触发异常。默认启用# CASCADE：删除非空数据库也会删除所有相关的表和函数## 切换当前数据库系统函数尽管庞大，也不可能涵盖所有的功能；如果有系统函数不支持的需求，我们就需要用自定义函数（User Defined Functions，UDF）来实现了。Flink的Table API和SQL提供了多种自定义函数的接口，以抽象类的形式定义。

Flink-SQL

qq_45409791的博客

08-02

3324

1.抽象出来一个动态表，并未进行存储，是Flink支持流数据的tableAPI和sql的核心概念，随时间变化的，查询动态表会生成一个连续的查询，结果是一个动态表2.hive进入命令行需要先启动元数据服务，在查数据的时候数据是不变的3.除非是有界流，否则连续的查询是不会停止的4.将流转化（定义）成动态表，在动态表上计算一个连续的查询，生成一个新的动态表，最后转换成流，连续查询从不停止，会根据输入表上的更新对结果表进行更新。......

Flink SQL 自定义 Sink

shengjk1的博客

10-16

2917

背景内部要做 Flink SQL 平台，本文以自定义 Redis Sink 为例来说明 Flink SQL 如何自定义 Sink 以及自定义完了之后如何使用基于 Flink 1.11 步骤 implements DynamicTableSinkFactory implements DynamicTableSink 创建 Redis Sink 自定义 sink 代码 import com.ishansong.bigdata.common.util.redis.RedisUtil; import org

FLink Function DDL支持

CarloPan的博客

11-26

404

转载:FLink Function DDL支持 FLink Function DDL支持(FLink FLIP-79翻译、总结进展)_LS_ice的专栏-CSDN博客文章目录目的修改计划前提Function DDL语法创建函数语句（Create Function Statement）删除函数语句（Drop Function Statement）修改函数语句（Alter Function Statement）显示函数语句（Show Function Statement）使用场景从classpath加载UDF

FlinkAPI开发之FlinkSQL

Appreciate(欣赏)

01-24

2177

这里的依赖是一个Java的“桥接器”（bridge），主要就是负责Table API和下层DataStream API的连接支持，按照不同的语言分为Java版和Scala版。

Flink SQL编程

weixin_42796403的博客

03-10

1279

Flink SQL编程目录Flink SQL编程一、Flink SQL核心概念1.1 动态表和连续查询1.2 在流上定义表(动态表)二、Flink Table API2.1 导入需要的依赖2.2 基本使用:表与DataStream的混合使用2.3 基本使用:聚合操作2.4 表到流的转换Append-only 流Retract 流Upsert 流2.5 通过Connector声明读入数据File sourceKafka Source2.6 通过Connector声明写出数据File SinkKafka

利用SQL开发高效稳定的Flink实时计算程序

- **DDL处理**: DDL语句对应Flink的数据源（source）和数据汇（sink），负责定义数据的输入输出接口。 - **Query/DML处理**: Query和DML语句则用于定义数据的查询和实时计算逻辑。 - **封装Job**: 开发者可以将用户...