使用flink的sql-client.sh，测试mysql--＞kafka--＞kafka--＞mysql实时流

目录

1. 环境介绍

2. mysql建表

3. flinksql建表

3.1 进入flinksql客户端 

​3.2 配置输出格式

​3.3 flink建表

3.4 任务流配置

4. 测试

4.1 插入测试数据

4.2 查看结果表数据​

4.3 新增测试数据

4.4 再次查看结果表数据

---

1. 环境介绍

服务	版本
zookeeper	3.8.0
kafka	3.3.1
flink	1.13.5
mysql	5.7.34
jdk	1.8
scala	2.12

连接器	作用
flink-sql-connector-upsert-kafka_2.11-1.13.6.jar	连接kafka，支持主键更新
flink-connector-mysql-cdc-2.0.2.jar	读mysql
flink-connector-jdbc_2.11-1.13.6.jar	写mysql
mysql-connector-java-5.1.37.jar	连接mysql

2. mysql中建表

CREATE TABLE src_mysql_order(
 order_id BIGINT,
 store_id BIGINT,
 sales_amt double,
 PRIMARY KEY (`order_id`)
);

CREATE TABLE src_mysql_order_detail(
 order_id BIGINT,
 store_id BIGINT,
 goods_id BIGINT,
 sales_amt double,
 PRIMARY KEY (order_id,store_id,goods_id)
);

CREATE TABLE dim_store(
 store_id BIGINT,
 store_name varchar(100),
 PRIMARY KEY (`store_id`) 
);

CREATE TABLE dim_goods(
 goods_id BIGINT,
 goods_name varchar(100),
 PRIMARY KEY (`goods_id`)
);

CREATE TABLE dwa_mysql_order_analysis (
	store_id BIGINT,
	store_name varchar(100),
	sales_goods_distinct_nums bigint,
	sales_amt double,
	order_nums bigint,
	PRIMARY KEY (store_id,store_name)
);

3. flinksql建表

3.1 进入flinksql客户端 

sql-client.sh embedded