Flink流批一体计算（23）：Flink SQL之多流kafka写入多个mysql sink

原创

已于 2023-12-05 16:08:18 修改 · 2.3k 阅读

11 ·

CC 4.0 BY-SA版权

文章标签：

#flink #sql #kafka

于 2023-12-05 16:07:29 首次发布

文章讲述了如何使用Kafka作为数据源，Flink进行数据处理，然后将结果存储到MySQL数据库的过程，涉及数据生成、表结构创建、JOIN操作以及WITH子句优化计算性能。

1. 准备工作

生成数据

source kafka json 数据格式：

topic case_kafka_mysql：

{ "ts": "20201011","id": 8,"price_amt":211}

topic flink_test_2：

{ "id": 8,"coupon_price_amt":100}

注意：针对双流中的每条记录都发触发

topic: case_kafka_mysql

docker exec -it 192d1369463a bash

bash-5.1# cd /opt/kafka_2.12-2.5.0/bin

bash-5.1# ./kafka-console-producer.sh --broker-list localhost:9092 --topic case_kafka_mysql

>{"ts": "20201011","id": 8,"price_amt":211}

topic: flink_test_2

docker exec -it 192d1369463a bash

bash-5.1# cd /opt/kafka_2.12-2.5.0/bin

bash-5.1# ./kafka-console-producer.sh --broker-list localhost:9092 --topic flink_test_2

>{"id": 8,"coupon_price_amt":100}