调研 FlinkSql功能测试及实战演练

最新推荐文章于 2023-01-29 11:07:40 发布
最新推荐文章于 2023-01-29 11:07:40 发布
阅读量1k 收藏 2
点赞数
文章标签： flink
原文链接：https://blog.csdn.net/spark9527/article/details/116716127
版权

【调研】FlinkSql功能测试及实战演练

槐序i 2021-05-12 17:39:24 573 收藏
分类专栏： flink
版权

flink
专栏收录该内容
14 篇文章0 订阅
订阅专栏
FlinkSql功能测试及实战演练
前言：Flink在国内的占有率逐步提升的情况下，各项组件的功能与稳定性也得到逐步提升。为了解决目前已有的复杂需求，尝试研究flinksql的特性与功能，作为是否引入该组件的依据。同时尝试将现有需求通过简单demo的形式进行测试。本次测试主要集中在Kafka、mysql、Impala三个组件上，同时将结合官方文档进行：

https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/
1
1 前期准备
1.1 环境配置
本次研究测试需要用到以下组件：

CDH 6.3.2
Flink 1.12.2
mysql 5.7
impala 3.2.0-cdh6.3.2
kafka 2.2.1-cdh6.3.2
1
2
3
4
5
1.2 依赖关系
本次测试会将FlinkSql与kafka、mysql、impala等组件进行conn，因此需要以下依赖包：

flink-connector-kafka_2.11-1.12.2.jar
flink-connector-jdbc_2.11-1.11.2.jar
mysql-connector-java-5.1.47.jar
ImpalaJDBC4.jar
ImpalaJDBC41.jar
flink-sql-connector-kafka_2.11-1.12.2.jar
1
2
3
4
5
6
1.3 重启flink
将上述所需的jar包放入$FLINK_HOME/lib中之后（所有部署flink的服务器都需要放），重启yarn-session

yarn-session.sh --detached
sql-client.sh embedded
1
2
2 FlinkSql-kafka测试
FlinkSql-kafka相关资料：

https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/dev/table/connectors/kafka.html
1
2.1 FlinkSql-kafka常规功能测试
通过FlinkSql将Kafka中的数据映射成一张表

2.1.1 创建常规topic
1、创建topic
kafka-topics --create --zookeeper 192.168.5.185:2181,192.168.5.165:2181,192.168.5.187:2181 --replication-factor 3 --partitions 3 --topic test01

2、模拟消费者
kafka-console-consumer --bootstrap-server 192.168.5.185:9092,192.168.5.165:9092,192.168.5.187:9092 --topic test01 --from-beginning

3、模拟生产者
kafka-console-producer --broker-list 192.168.5.185:9092,192.168.5.165:9092,192.168.5.187:9092 --topic test01

4、删除topic
kafka-topics --delete --topic test01 --zookeeper 192.168.5.185:2181,192.168.5.165:2181,192.168.5.187:2181
1
2
3
4
5
6
7
8
9
10
11
2.1.2 FlinkSql建表
CREATE TABLE t1 (
name string,
age BIGINT,
isStu INT,
opt STRING,
optDate TIMESTAMP(3) METADATA FROM ‘timestamp’
) WITH (
‘connector’ = ‘kafka’, – 使用 kafka connector
‘topic’ = ‘test01’, – kafka topic
‘scan.startup.mode’ = ‘earliest-offset’,
‘properties.bootstrap.servers’ = ‘192.168.5.185:9092,192.168.5.165:9092,192.168.5.187:9092’, – kafka broker 地址
‘format’ = ‘csv’ – 数据源格式为 csv，
);
select * from t1;
1
2
3
4
5
6
7
8
9
10
11
12
13
14
2.1.3 写入数据
往kafka中写入数据，同时查看flinksql中t1表的变化

zhangsan,20,1,1
lisi,18,1,2
wangwu,30,2,2
1
2
3

2.1.4 小结
通过kafka数据映射成表这个步骤，可以将数据实时的汇入表中，通过sql再进行后续操作，相对代码编写来说更为简易，同时有问题也相对好排查

2.2 FlinkSql-upsertKafka常规功能测试
upsert-kafka 连接器生产 changelog 流，其中每条数据记录代表一个更新或删除事件。

如果有key则update，没有key则insert，如果value的值为空，则表示删除

2.2.1 FlinkSql建upsert表
drop table t2;
CREATE TABLE t2 (
name STRING,
age bigint,
isStu INT,
opt STRING,
optDate TIMESTAMP(3) ,
PRIMARY KEY (name) NOT ENFORCED
) WITH (
‘connector’ = ‘upsert-kafka’,
‘topic’ = ‘test02’,
‘properties.bootstrap.servers’ = ‘192.168.5.185:9092,192.168.5.165:9092,192.168.5.187:9092’, – kafka broker 地址
‘key.format’ = ‘csv’,
‘value.format’ = ‘csv’
);
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
2.2.2 建立映射关系
将t1表中的数据写入到t2中

INSERT INTO t2 SELECT * FROM t1 ;
select * from t2;
1
2
结果如下：

2.2.3 更新数据
继续模拟kafka生产者，写入如下数据

zhangsan,25,1,2
risen,8,8,8
lisi,0,0,
1
2
3
结果如下：

2.2.4小结
通过如上测试，两条更新，一条插入，都已经实现了，

根据官方文档描述，指定key的情况下，当value为空则判断为删除操作

但是假如我插入一条数据到kafka，例如：

lisi,
1
只有key，没有value，t1表就会报如下错误

因为建表的时候有几个类型定义为了Int类型，这里为空它默认为是""空字符串，有点呆，推测如果是json格式这类可以指定数据类型的，才能直接使用。对于csv这种数据类型不确定的，会存在无法推断类型的情况。

鉴于此，为了探究是否真的具备删除操作，我又将上述所有表结构都进行了修改。为了试验简单，我直接修改表结构再次测试

drop TABLE t1;
CREATE TABLE t1 (
name STRING,
age STRING,
isStu STRING,
opt STRING,
optDate TIMESTAMP(3) METADATA FROM ‘timestamp’
) WITH (
‘connector’ = ‘kafka’, – 使用 kafka connector
‘topic’ = ‘test01’, – kafka topic
‘scan.startup.mode’ = ‘earliest-offset’,
‘properties.bootstrap.servers’ = ‘192.168.5.185:9092,192.168.5.165:9092,192.168.5.187:9092’, – kafka broker 地址
‘format’ = ‘csv’ – 数据源格式为 csv，
);
drop table t2;
CREATE TABLE t2 (
name STRING,
age STRING,
isStu STRING,
opt STRING,
optDate TIMESTAMP(3) ,
PRIMARY KEY (name) NOT ENFORCED
) WITH (
‘connector’ = ‘upsert-kafka’,
‘topic’ = ‘test02’,
‘properties.bootstrap.servers’ = ‘192.168.5.185:9092,192.168.5.165:9092,192.168.5.187:9092’, – kafka broker 地址
‘key.format’ = ‘csv’,
‘value.format’ = ‘csv’
);
INSERT INTO t2 SELECT * FROM t1 ;
select * from t2;
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31

依然没有在t2表中删除掉该条记录，该功能需要进一步探索，以后在跟进。

2.3 FlinkSql-upsertKafka关于kafka中数据过期测试
2.3.1 创建10分钟策略的topic
kafka-topics --create --zookeeper 192.168.5.185:2181,192.168.5.165:2181,192.168.5.187:2181 --replication-factor 3 --partitions 3 --topic test01 --config log.retention.minutes=10
1
kafka-console-producer --broker-list 192.168.5.185:9092,192.168.5.165:9092,192.168.5.187:9092 --topic test01
1
kafka-topics --delete --topic test01 --zookeeper 192.168.5.185:2181,192.168.5.165:2181,192.168.5.187:2181
1
kafka-console-consumer --bootstrap-server 192.168.5.185:9092,192.168.5.165:9092,192.168.5.187:9092 --topic output --from-beginning
1
kafka-topics --bootstrap-server 192.168.5.185:9092,192.168.5.165:9092,192.168.5.187:9092 --topic test01 --describe
1
2.3.2 创建flinksql的表
CREATE TABLE t1 (
name string,
age BIGINT,
isStu INT,
opt STRING,
optDate TIMESTAMP(3) METADATA FROM ‘timestamp’,
WATERMARK FOR optDate as optDate - INTERVAL ‘5’ SECOND – 在ts上定义watermark，ts成为事件时间列
) WITH (
‘connector’ = ‘kafka’, – 使用 kafka connector
‘topic’ = ‘test01’, – kafka topic
‘scan.startup.mode’ = ‘earliest-offset’,
‘properties.bootstrap.servers’ = ‘192.168.5.185:9092,192.168.5.165:9092,192.168.5.187:9092’, – kafka broker 地址
‘format’ = ‘csv’ – 数据源格式为 csv，
);
1
2
3
4
5
6
7
8
9
10
11
12
13
14
CREATE TABLE t2 (
name STRING,
age bigint,
PRIMARY KEY (name) NOT ENFORCED
) WITH (
‘connector’ = ‘upsert-kafka’,
‘topic’ = ‘output’,
‘properties.bootstrap.servers’ = ‘192.168.5.185:9092,192.168.5.165:9092,192.168.5.187:9092’, – kafka broker 地址
‘key.format’ = ‘csv’,
‘value.format’ = ‘csv’
);
1
2
3
4
5
6
7
8
9
10
11
INSERT INTO t2
SELECT
name,
max(age)
FROM t1
GROUP BY name;
1
2
3
4
5
6
2.3.3 写入数据
zhangsan,18,1,insert
lisi,20,2,update
wangwu,30,1,delete
1
2
3
2.3.4 等待策略过期

flink映射的kafka数据因为数据删除，导致t1表里为空

但是t2是基于t1的汇总表，在t1被清空的情况下，t2依旧存在

3 FlinkSql-JDBC
FlinkSql-JDBC相关资料：

https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/connectors/jdbc.html
1
3.1 FlinkSql-JDBC-Mysql常规功能测试
3.1.1 mysql建表并写入数据
create table test.test01(name varchar(10),age int, primary key (name));
INSERT INTO test.test01(name, age)VALUES(‘zhangsan’, 20);
INSERT INTO test.test01(name, age)VALUES(‘lisi’, 30);
INSERT INTO test.test01(name, age)VALUES(‘wangwu’, 18);
1
2
3
4
3.1.2 flinkSql建表
drop table mysqlTest ;
create table mysqlTest (
name string,
age int,
PRIMARY KEY (name) NOT ENFORCED
) with (
‘connector’ = ‘jdbc’,
‘url’ = ‘jdbc:mysql://192.168.5.187:3306/test’,
‘username’ = ‘root’,
‘password’ = ‘123456’,
‘table-name’ = ‘test01’

);
select * from mysqlTest;
1
2
3
4
5
6
7
8
9
10
11
12
13
14

3.1.3 flinksql写入/更新数据到mysql
3.1.3.1 写入
INSERT INTO mysqlTest(name, age)VALUES(‘risen’, 88);
1

在flink表与mysql表中，都多了该条记录

3.1.3.2 更新
INSERT INTO mysqlTest (name, age) VALUES(‘zhangsan’, 50);
1
flinksql

mysql

3.1.3.3 删除
官方文档对delete简单提了一下，但是在实际中并没有

JDBC连接器允许使用JDBC驱动程序从任何关系数据库读取数据或将数据写入任何关系数据库。本文档介绍了如何设置JDBC连接器以对关系数据库运行SQL查询。

如果在DDL上定义了主键，则JDBC接收器将在upsert模式下运行以与外部系统交换UPDATE / DELETE消息，否则，它将在附加模式下运行，并且不支持使用UPDATE / DELETE消息。
1
2
3
尝试删除：

DELETE FROM mysqlTest where name=‘zhangsan’;
INSERT INTO mysqlTest (name, age) VALUES(‘zhangsan’, null);
1
2

3.1.4 小结
flinkSql连接mysql，增删改查，增加与查询很容易实现，但是修改一定要在建表的时候，指定主键才可以实现upsert，删除目前好像没办法实现

3.2 FlinkSql-JDBC-Impala常规测试
3.2.1 Impala创建kudu表
drop table kudu_test.kuduTest;
CREAT TABLE kudu_test.kuduTest
(
name string,
age BIGINT,
isStu INT,
opt STRING,
PRIMARY KEY(name)
)STORED AS KUDU;
INSERT INTO kudu_test.mysqlTest(name, age,isStu,opt)VALUES(‘zhangsan’, 20,1,‘1’);
INSERT INTO kudu_test.mysqlTest(name, age,isStu,opt)VALUES(‘lisi’, 30,1,‘1’);
INSERT INTO kudu_test.mysqlTest(name, age,isStu,opt)VALUES(‘wangwu’, 18,1,‘1’);
1
2
3
4
5
6
7
8
9
10
11
12
3.2.2 flinkSql建表
drop table impalaTest ;
create table impalaTest (
name string,
age int,
PRIMARY KEY (name) NOT ENFORCED
) with (
‘connector’ = ‘jdbc’,
‘url’ = ‘jdbc:impala://192.168.5.185:21050/kudu_test’,
‘username’ = ‘root’,
‘password’ = ‘123456’,
‘table-name’ = ‘kuduTest’,
‘driver’=‘com.cloudera.impala.jdbc4.Driver’

);
select * from impalaTest;
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

呃，不支持impala

3.2.3 小结
目前暂不支持通过JDBC连接Impala

4 总结
1、Flinksql支持kafka、mysql，且已经支持upsert功能，但是在测试delete的时候，发现都无法直接实现，但是可以通过汇总一次，在逻辑上实现。在尝试将flinksql连接impala的时候报错，目前暂不支持，但是可以考虑通过将数据写入kafka，最后impala来消费来实现。

2、在大数据场景中，每条数据都是有价值的。当某天有"统计删除了多少条数据"的需求时，物理删除掉的数据再也无法捞回，导致需求无法实现。所以建议不删除任何数据，以保留数据状态的形式，实现逻辑上的删除，即不统计当前状态为"删除"的数据。

5 实战演练
5.1 场景及需求
通过简单demo实现：

1、维度表更新

2、实时统计指标

5.1.1 源数据
姓名，年龄，身份，在校状态（1：存在:2：不存在）
name,age,identity,status
zhangsan,20,1,1
lisi,18,1,2
wangwu,30,2,2
1
2
3
4
5
5.1.2 维度表
身份维度表
dim_identity 1：学生，2：老师
1
2
5.2 流程设计

5.3 代码实现
5.3.1 创建mysql维度表并插入数据
create table test.dim_identity(name varchar(10),identity int);
INSERT INTO test.dim_identity(name, identity)VALUES(‘学生’, 1);
INSERT INTO test.dim_identity(name, identity)VALUES(‘老师’, 2);
1
2
3
5.3.2 将mysql维度表映射成FlinkSql中的表
drop table dim_identity ;
create table dim_identity (
name string,
identity int
) with (
‘connector’ = ‘jdbc’,
‘url’ = ‘jdbc:mysql://192.168.5.187:3306/test’,
‘username’ = ‘root’,
‘password’ = ‘123456’,
‘table-name’ = ‘dim_identity’
);
select * from dim_identity;
1
2
3
4
5
6
7
8
9
10
11
12
5.3.3 创建映射kafka的源数据表
CREATE TABLE ods_kafka (
name string,
age BIGINT,
identity INT,
status STRING,
insertDate TIMESTAMP(3) METADATA FROM ‘timestamp’
) WITH (
‘connector’ = ‘kafka’, – 使用 kafka connector
‘topic’ = ‘stuLog’, – kafka topic
‘scan.startup.mode’ = ‘earliest-offset’,
‘properties.bootstrap.servers’ = ‘192.168.5.185:9092,192.168.5.165:9092,192.168.5.187:9092’, – kafka broker 地址
‘format’ = ‘csv’ – 数据源格式为 csv，
);
select * from ods_kafka;
1
2
3
4
5
6
7
8
9
10
11
12
13
14
5.3.4 根据源数据表汇总成用户状态表
采用upsert的方式，以最新一条数据作为用户的状态

drop table tds_user_status;
CREATE TABLE tds_user_status (
name STRING,
age bigint,
identity INT,
status STRING,
insertDate TIMESTAMP(3) ,
PRIMARY KEY (name) NOT ENFORCED
) WITH (
‘connector’ = ‘upsert-kafka’,
‘topic’ = ‘tdsResult’,
‘properties.bootstrap.servers’ = ‘192.168.5.185:9092,192.168.5.165:9092,192.168.5.187:9092’, – kafka broker 地址
‘key.format’ = ‘csv’,
‘value.format’ = ‘csv’
);
INSERT INTO tds_user_status SELECT * FROM ods_kafka ;
select * from tds_user_status;
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
5.3.5 统计指标
统计以下指标：

当前在校的老师数量
当前总共多少学生
学生占总数的比例
当前状态为在校占总数的比例
1
2
3
4
建FlinkSql表接收指标

drop table rpt_result;
CREATE TABLE rpt_result (
inStuTeatherNum int,
StudentNum int,
StudengRate FLOAT,
inStuRate FLOAT,
countDate TIMESTAMP(3) METADATA FROM ‘timestamp’,
PRIMARY KEY (countDate) NOT ENFORCED
) WITH (
‘connector’ = ‘upsert-kafka’,
‘topic’ = ‘rptResult’,
‘properties.bootstrap.servers’ = ‘192.168.5.185:9092,192.168.5.165:9092,192.168.5.187:9092’, – kafka broker 地址
‘key.format’ = ‘csv’,
‘value.format’ = ‘csv’
);
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
开始统计：

INSERT INTO rpt_result
SELECT
sum(case when t2.name = ‘老师’ and t1.status =1 then 1 else 0 end ) inStuTeatherNum
,sum(case when t2.name = ‘学生’ then 1 else 0 end ) StudentNum
,sum(case when t2.name = ‘学生’ then 1 else 0 end )/sum(1) StudengRate
,sum(case when t1.status = 1 then 1 else 0 end )/sum(1) inStuRate
FROM tds_user_status t1
left join dim_identity t2
on t1.identity=t2.identity
;
select * from rpt_result
————————————————
版权声明：本文为CSDN博主「槐序i」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/spark9527/article/details/116716127

chenzhihao
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
FPGA设计实战演练(高级技巧篇)
11-16
一生中有幸成为新发现或新思想的一部分的机会屈指可数。某些思想或革新会极大地改变...Xilinx坚定地相信串行连接功能解决方案最终将应用到可能的电子产品的方方面面。简单地举几个例子， 这种解决方案可用于芯片到芯片
FlinkSql概述
m0_57697768的博客
06-19 7425
Table API和SQL是最上层的API，在Flink中这两种API被集成在一起，SQL执行的对象也是Flink中的表（Table），所以我们一般会认为它们是一体的。Flink是批流统一的处理框架，无论是批处理（DataSet API）还是流处理（DataStream API），在上层应用中都可以直接使用Table API或者SQL来实现；这两种API对于一张表执行相同的查询操作，得到的结果是完全一样的。
基于Flink实时数仓——准备业务数据 DWD 层（2）
qq_46045632的博客
01-16 609
业务数据的变化，我们可以通过 FlinkCDC 采集到，但是 FlinkCDC 是把全部数据统一写入一个 Topic 中, 这些数据包括事实数据，也包含维度数据，这样显然不利于日后的数据处理，所以这个功能是从 Kafka 的业务数据 ODS 层读取数据，经过处理后，将维度数据保存到 HBase，将事实数据写回 Kafka 作为业务数据的 DWD 层。 主要任务： 接收 Kafka 数据，过滤空值数据 实现动态分流功能 把分好的流保存到对应表、主题中 1. 接收 Kafka 数据，过滤空值数据 对 Fli
实践数据湖iceberg 第二十六课 checkpoint设置方法
spark_dev的博客
04-01 2112
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录系列文章目录前言checkpoint设置方法一、pandas是什么？二、使用步骤1.引入库2.读入数据3.总结 前言 checkpoint设置方法 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ StreamExecutionEnvironment
从Flink SQL "doesn't support consuming update and delete changes" 错误谈起
热门推荐
LittleMagic's Blog
01-07 1万+
前言 相信我们在初学Flink SQL时，多少遇到过像这样的错误信息： org.apache.flink.table.api.TableException: X[算子名] doesn't support consuming update and delete changes which is produced by node Y[算子名] 为什么有些下游算子不能接受上游算子发来的UPDATE和D...
Flink重点难点：Flink Table&SQL必知必会(一)
liuwei0376的专栏
03-29 2037
在阅读本文之前，你应该阅读过的系列： 《Flink重点难点：时间、窗口和流Join》 《Flink重点难点：网络流控和反压》 《Flink重点难点：维表关联理论和Join实战》 《Flink重点难点：内存模型与内存结构》 什么是Table API和Flink SQL Flink本身是批流统一的处理框架，所以Table API和SQL，就是批流统一的上层处理API。目前功能尚未完善，处于活跃的开发阶段。 Table API是一套内嵌在Java和Scala语言中的查询API，它允许我们以非常直观的方式，组合
Spring Boot实战演练Demo
09-06
Spring Boot实战演练Demo，配合博文的源码
Windows应急流程及实战演练.docx
03-06
Windows应急流程及实战演练.docx 当企业发生黑客入侵、系统崩溃或其它影响业务正常运行的安全事件时，急需第一时间进行处理，使企业的网络信息系统在最短时间内恢复正常工作，进一步查找入侵来源，还原入侵事故过程...
flink-sql-demo.jar
09-04
本文将基于 Kafka, MySQL, Elasticsearch, Kibana，使用 Flink SQL 构建...本文所有的实战演练都将在 Flink SQL CLI 上执行，全程只涉及 SQL 纯文本，无需一行 Java/Scala 代码，无需安装 IDE。本实战演练的最终效果图
windows 应急流程及实战演练1
08-03
1、 查 看 服 务 器 是 否 有 弱 口 令 ， 远 程 管 理 端 口 是 否 对 公 网 开 放 2、 查 看 服 务 器 是 否 存 在 可 疑 账
Flink如何清除过期的CheckPoint
淡定一生2333的博客
07-15 6406
生产环境中，Flink Job运行过程中会定期执行CheckPoint，将内部状态持久化到外部的存储系统中，一般会选择使用HDFS。多种外部存储系统之间的差异详见之前写的那篇文章《Flink的状态后端(State Backends)》。随着程序不停的执行， CheckPoint文件会越来越多，如何清理过期的文件就是一个很大的问题。 一般建议大家选用RocksDB作为StateBackend。RocksDB使用的LSM树，会将状态存储到磁盘sst文件(类似HBase中的HFile)中，避免S...
flink mysqlcdc 2 redis delete 操作
weixin_40455124的博客
01-29 507
flink cdc 可以通过RowKind 来识别row 为DELETE，UPDATE_AFTER，INSERT等，同步这个加上不同redis table 实现redis key insert/update/delete。简单记录下是否flink 将mysql 配置表同步到redis，redis sink 使用jeff-zou的connector。
Flink中的JDBC SQL Connector
liuwei0376的专栏
05-23 8820
Flink中的JDBC SQL Connector JDBC 连接器允许使用 JDBC 驱动程序从任何关系数据库读取数据并将数据写入数据。 本文档介绍如何设置 JDBC 连接器以针对关系数据库运行 SQL 查询。 如果在 DDL 上定义了主键，则 JDBC sink 以 upsert 模式与外部系统交换 UPDATE/DELETE 消息，否则，它以 append 模式运行，不支持消费 UPDATE/DELETE 消息。 引入依赖 为了使用 JDBC 连接器，使用构建自动化工具（例如 Maven 或 SBT）
Flink SQL 和 Table API入门教程（三）
qq_39413216的博客
11-19 488
流处理中的特殊概念前言一、流处理和关系代数（表，及 SQL）的区别二、动态表（Dynamic Tables)三、流式持续查询的过程1.将流转换成表（Table）2.持续查询（Continuous Query）3.将动态表转换成流四、时间特性1.处理时间（Processing Time）2.事件时间（Event Time）2.读入数据总结 前言 table API和SQL，原本是基于有界数据操作的（其实在流式处理的概念出来之前，我们一般的思维模式都是基于批量数据的操作，产生的概念也都是基于批量操作）。所以在
利用数据库连接池进行增删改查（全 详细）
weixin_51256635的博客
01-01 2253
通过数据库连接池对数据库进行增删改查的操作 c3p0是一个库。它扩展了传统的jdbc数据库连接池，并且支持JDBC3规范和JDBC2的标准扩展。通过数据库池连接数据库比传统的数据库连接要有许多优点 传统数据库需要建立连接，断开连接，而通过数据库连接池则不需要这样进行，数据库连接池在初始化时，就已经建立连接，所以如果要使用数据库，则相当于在数据库池中找一个空闲的连接就行，不需要数据库时，则将连接再放回池子中即可。 通过数据库池连接需要相应的jar包 这里面除了最后一个和倒数第3个应该都是关于数据库连接池的j
Flink源码剖析：回撤流
foureyes
11-23 7659
文章目录1. 定义2. 示例2.1 源码分析2.1.1 聚合算子回撤2.1.2 Sink算子回撤2.1.3 聚合算子回撤 VS Sink算子回撤 1. 定义 Flink中，Kafka Source是非回撤流，Group By是回撤流。所谓回撤流，就是可以更新历史数据的流，更新历史数据并不是将发往下游的历史数据进行更改，要知道，已经发往下游的消息是追不回来的。更新历史数据的含义是，在得知某个Key（接在Key BY / Group By后的字段）对应数据已经存在的情况下，如果该Key对应的数据再次到来，会生成
FlinkSql（三）代码中的注意点
星星的博客
08-09 1197
1.数据类型与 Table schema 的对应 DataStream 中的数据类型，与表的 Schema 之间的对应关系，是按照样例类中的字段名来对应的（name-based mapping），所以还可以用 as 做重命名。 另外一种对应方式是，直接按照字段的位置来对应（position-based mapping），对应的过程中，就可以直接指定新的字段名了。 基于名称的对应： val sensorTable = tableEnv.fromDataStream(dataStream, 'tim
flink sql - 问题系列与解决系列
a123147abc的博客
11-30 6331
flink sql 调试-注意点1、布尔类型的坑2、cdc 表[kafka/pg等]，要写对表主键，特别是flink sql 有group by 的情况 1、布尔类型的坑 数据库 deleted = 'false' , flink sql 要替换为 deleted is false 2、cdc 表[kafka/pg等]，要写对表主键，特别是flink sql 有group by 的情况 现象：a 表主键是三个字段的联合主键[PRIMARY KEY (id,parent_id,entity_farm_
Flink如何处理update数据
王卫东 博客
07-21 3287
Flink实时统计GMV,如果订单金额下午变了该怎么处理
kafka原理剖析及实战演练
最新发布
01-10
Kafka是一种分布式流处理平台，它以高吞吐量、低延迟的方式传输和存储数据。...在实战演练中，需要配置Kafka集群，并编写生产者和消费者代码来进行数据的传输和处理。这些步骤可以帮助我们更好地理解和应用Kafka。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值