Flink
文章平均质量分 78
学习Flink
俩只猴
独自奋斗的程序猿
展开
-
Flink1.12 SQL连接器之JDBC Connector介绍与使用总结
前言与DataStream同样,官方在Flink SQL上也提供了很多连接器,今天来学习总结一下JDBC连接器环境准备如果使用编码,需要引入两个依赖包,Flink提供的jdbc连接器依赖和和对应的mysql驱动包,以下为1.12.0 提供的jdbc连接器依赖<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-jdbc_2.11</art原创 2021-02-08 11:13:23 · 5211 阅读 · 3 评论 -
Flink本地Web UI报错:Could not start rest endpoint on any port in port range 8081
前言Flink使用Web UI可以方便本地调试,基本使用如下:pom添加<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-runtime-web_${scala.version}</artifactId> <version>${flink.version}</version></dependency>代码中原创 2021-01-26 15:26:15 · 7297 阅读 · 7 评论 -
Flink1.12新特性之Flink SQL中时态表(Temporal Tables)说明和总结
前言Flink 1.12正式发布后,带来了很多新的特性,本文重点学习和总结一下Flink 1.11和 Flink1.12中时态表的使用和自己的一个小总结,文章如有问题,请大家留言交流讨论,我会及时改正。本文主要将在Flink1.12中新的时态表的一些新的概念和注意事项,如何在Join中使用会在之后另一个篇文章中具体讨论。Flink中的时态表的设计初衷首先,大家需要明确一个概念,就是传统SQL中表一般表示的都是有界的数据,而直接套用于流计算这样源源不断的数据上是存在问题的,所以在Flink SQL中,原创 2021-01-24 02:02:12 · 2761 阅读 · 3 评论 -
Flink Kafka Connector介绍和使用(DataStream and Table)
前言Flink提供了一个Apache Kafka连接器,我们可以很方便的实现从Kafka主题读取数据和向其写入数据。Flink附带了提供了多个Kafka连接器:universal通用版本,0.10,0.11官方文档解释说universal(通用版本)的连接器,会尝试跟踪Kafka最新版本,兼容0.10或者之后的Kafka版本,官方文档也说对于绝大多数情况使用这个即可。在最新的官方文档上有这个通用版本连接器的迁移介绍:Migrating Kafka Connector from 0.11 to uni原创 2020-12-31 10:14:48 · 967 阅读 · 0 评论