flink sql 从mysql读数据写入到ElasticSearch实践

最新推荐文章于 2024-12-09 10:46:19 发布

house.zhang

最新推荐文章于 2024-12-09 10:46:19 发布

阅读量3.8k

点赞数

分类专栏： flink 文章标签： flink 大数据

本文链接：https://blog.csdn.net/pop_xiaohao/article/details/110525357

版权

本文介绍了使用Flink SQL从MySQL读取数据并写入ElasticSearch的过程，包括所需先决条件如添加Maven依赖、设置数据库源表、搭建ElasticSearch环境。在实践中遇到的`ValidationException`关于`json`工厂的错误，通过添加相应依赖得以解决。

摘要由CSDN通过智能技术生成

背景

主要是实践下从mysql读数据写入到ElasticSearch,以及总结下相关问题和想法
参考链接：https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/dev/table/connectors/elasticsearch.html

先决条件

添加maven依赖，从mysql读取数据这两个依赖必不可少

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-jdbc_${
   scala.binary.version}</artifactId>
            <version>${
   flink.version}</version>
        </dependency>
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>8.0.22</version>
        </dependency>

添加flink es 依赖

    <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-elasticsearch7_2.11</artifactId>
            <version>${
   flink.version}</version>
        </dependency>

数据库中创建相关的源表（写入相关样例数据）：

DROP TABLE IF EXISTS `student`;
CREATE TABLE `student` (
  `id` int(11) unsigned NOT NULL AUTO_INCREMENT,
  `name` varchar(25) COLLATE utf8_bin DEFAULT NULL,
  `password` varchar(25) COLLATE utf8_bin DEFAULT NULL,
  `age` int(10) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=5 DEFAULT CHARSET=utf8 COLLATE=utf8_bin;

INSERT INTO student (name,password