flink自定义 sink

最新推荐文章于 2024-01-15 11:56:55 发布

哥伦布112

最新推荐文章于 2024-01-15 11:56:55 发布

阅读量1.3k

点赞数

分类专栏： flink

本文链接：https://blog.csdn.net/u013939918/article/details/107372915

版权

本文介绍如何自定义 Flink Sink Function 将数据从 Kafka topic 读取并存储到 MySQL 数据库。首先，启动 Flink、Zookeeper 和 Kafka，接着创建数据库表和实体类。然后实现 `SinkToMySQL` 类，继承 `RichSinkFunction` 并重写 `invoke` 方法用于数据插入。Flink 程序中，从 Kafka 读取 JSON 数据，解析为 Student 对象，通过 `SinkToMySQL` 存储到 MySQL。运行程序后，数据库成功插入了 100 条数据，验证了自定义 Sink 的有效性。

摘要由CSDN通过智能技术生成

准备工作

我们先来看下 Flink 从 Kafka topic 中获取数据的 demo，首先你需要安装好了 FLink 和 Kafka 。

运行启动 Flink、Zookepeer、Kafka，

好了，都启动了！

数据库建表

DROP TABLE IF EXISTS `student`;
CREATE TABLE `student` (
  `id` int(11) unsigned NOT NULL AUTO_INCREMENT,
  `name` varchar(25) COLLATE utf8_bin DEFAULT NULL,
  `password` varchar(25) COLLATE utf8_bin DEFAULT NULL,
  `age` int(10) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=5 DEFAULT CHARSET=utf8 COLLATE=utf8_bin;

实体类

Student.java

package com.zhisheng.flink.model;

/**
 * Desc:
 * weixin: zhisheng_tian
 * blog: http://www.54tianzhisheng.cn/
 */
public class Student {
    public int id;
    public String name;
    public String password;
    public int age;

    public Student() {
    }

    public Student(int id, String name, String password, int age) {
        this.id = id;
        this.name = name;
        this.password = password;
        this.age = age;
    }

    @Override
    public String toString() {
        return "Student{" +
                "id=" + id +
                ", name='" + name + '\'' +
                ", password='" + password + '\'&#