flink写入 mysql_《从0到1学习Flink》—— Flink 读取 Kafka 数据批量写入到 MySQL

前言

之前其实在 《从0到1学习Flink》—— 如何自定义 Data Sink ？ 文章中其实已经写了点将数据写入到 MySQL，但是一些配置化的东西当时是写死的，不能够通用，最近知识星球里有朋友叫我: 写个从 kafka 中读取数据，经过 Flink 做个预聚合，然后创建数据库连接池将数据批量写入到 mysql 的例子。

于是才有了这篇文章，更多提问和想要我写的文章可以在知识星球里像我提问，我会根据提问及时回答和尽可能作出文章的修改。

准备

你需要将这两个依赖添加到 pom.xml 中

mysql

mysql-connector-java

5.1.34

读取 kafka 数据

这里我依旧用的以前的 student 类，自己本地起了 kafka 然后造一些测试数据，这里我们测试发送一条数据则 sleep 10s，意味着往 kafka 中一分钟发 6 条数据。

package com.zhisheng.connectors.mysql.utils;

import com.zhisheng.common.utils.GsonUtil;

import com.zhisheng.connectors.mysql.model.Student;

import org.apache.kafka.clients.producer.KafkaProducer;

import org.apache.kafka.clients.producer.ProducerRecord;

import java.util.Properties;

/**

* Desc: 往kafka中写数据,可以使用这个main函数进行测试

* Created by zhisheng on 2019-02-17

* Blog: http://www.54tianzhisheng.cn/tags/Flink/

*/

public class KafkaUtil {

public static final String broker_list = "localhost:9092";

public static final String topic = "student"; //kafka topic 需要和 flink 程序用同一个 topic

public static void writeToKafka() throws InterruptedException {

Properties props = new Properties();

props.put("bootstrap.servers", broker_list);

props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");

props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

KafkaProducer producer = new KafkaProducer(props);

for (int i = 1; i <= 100; i++) {

Student student = new Student(i, "zhisheng" + i, "password" + i, 18 + i);

ProducerRecord record = new ProducerRecord(topic, null,