【Flink】关于jvm元空间溢出，mysql binlog冲突的问题解决

最新推荐文章于 2024-10-20 02:07:19 发布
最新推荐文章于 2024-10-20 02:07:19 发布
阅读量1.6k 收藏
点赞数
分类专栏： 大数据 文章标签： flink jvm mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jgma_timo/article/details/132695191
版权

问题一：7张表是同一个mysql中的，我们进行增量同步时分别用不同的flink任务读取，造成mysql server-id冲突问题，如下：

在这里插入图片描述

Caused by: io.debezium.DebeziumException: A slave with the same server_uuid/server_id as this slave has connected to the master; the first event ‘’ at 4, the last event read from ‘/home/mysql/log/mysql/mysql-bin.003630’ at 62726118, the last byte read from ‘/home/mysql/log/mysql/mysql-bin.003630’ at 62726118. Error code: 1236; SQLSTATE: HY000.

问题分析：主要是多个任务都读取的同一个binlog造成serverid冲突；

网上有设置server-id的方法，这个是可以解决的，但是需要分方案来谈；
例如：我们是需要一个任务通用的（7张表重复提交7次，更改flink传参）
这种就不适合我们，因为每次的任务都是同一个jar，读取一段时间后还是会报错；

解决方案：其实我们可以把在同一个mysql库里面的表放到同一个source里面；

解决代码：我们是mysql同步到starrocks里面，使用的sr官方的sink function，不同sink的可以参考这个源代码；

官方是推荐采用StarRocksSink.sink(options)这种方式，我们查看源码，其实是采用的v2这一个fun，点进去发现，sr官方对数据进行了处理，只需要匹配对应的类型即可；
在这里插入图片描述
所以我们只需要对mysqlSource进行一个算子转换即可，关键代码如下：

MySqlSourceBuilder<String> builder = new MySqlSourceBuilder<>();
        MySqlSource<String> mySqlSource = builder
                .hostname(srcHost)
                .port(3306)
                .databaseList(srcDb)
                // 格式 db.table,db.table2......
                .tableList(srcTable)
                .username(srcUsername)
                .password(srcPassword)
                .jdbcProperties(jbdcProperties)
                .debeziumProperties(properties)
                // 这里反序列化我进行了StarRocks增删类型处理，具体可以看我这片文章https://blog.csdn.net/JGMa_TiMo/article/details/128327546
                .deserializer(jsonStringDebeziumDeserializationSchema)
                .serverId("5400-6400")
                .build();

        DataStreamSource<String> streamSource = env.fromSource(mySqlSource, WatermarkStrategy.forMonotonousTimestamps(), "[<< job: >>" + propKey + "]");
//                .setParallelism(parallelism);

        // todo 这里是关键地方，我们反序列化只能返回flink认可的类型，一般都是string,这里转换成上面sr可以处理的对象 StarRocksSinkRowDataWithMeta
        SingleOutputStreamOperator<StarRocksSinkRowDataWithMeta> streamOperator = streamSource.flatMap(new FlatMapFunction<String, StarRocksSinkRowDataWithMeta>() {
            @Override
            public void flatMap(String value, Collector<StarRocksSinkRowDataWithMeta> collector) throws Exception {
                HashMap hashMap = JsonUtils.parseObject(value, HashMap.class);
                StarRocksSinkRowDataWithMeta sinkRowDataWithMeta = new StarRocksSinkRowDataWithMeta();
                sinkRowDataWithMeta.addDataRow(value);
                assert hashMap != null;
                sinkRowDataWithMeta.setTable(hashMap.get("__table").toString());
                sinkRowDataWithMeta.setDatabase(sinkDb);
                collector.collect(sinkRowDataWithMeta);
            }
        }).name("Data Filtering");

        StarRocksSinkOptions sinkOptions = StarRocksSinkOptions.builder()
                .withProperty("jdbc-url", "jdbc:mysql://" + sinkHost + ":9030?characterEncoding=utf-8&useSSL=false&connectionTimeZone=Asia/Shanghai")
                .withProperty("load-url", sinkHost + ":8030")
                .withProperty("database-name", sinkDb)
                .withProperty("username", sinkUsername)
                .withProperty("password", sinkPassword)
                // 这里的设置会被多srcTable覆盖
                .withProperty("table-name", "")
                .withProperty("sink.properties.format", "json")
                .withProperty("sink.properties.strip_outer_array", "true")
                .build();

		// 这里查看sr sink源码实际使用的是这个fun，我们不要使用SinkFunctionFactory生成：会泛型不支持
        streamOperator.addSink(new StarRocksDynamicSinkFunctionV2<>(sinkOptions))
                .name(">>>StarRocks " + propKey + " Sink<<<").uid(UUID.randomUUID().toString());
//        streamOperator.addSink(StarRocksSink.sink(sinkOptions))
//                .name(">>>StarRocks " + propKey + " Sink<<<").uid(UUID.randomUUID().toString());

        env.execute(propKey + "<< stream sync job >>" + srcHost + srcDb);

解读：原理就是我们把原来7张在一个数据库的表放到一个flink source中读取，在指定传输到那个starrocks表时，官方已经实现了代码支持，我们只需要增加一个flink算子转换成sink支持的对象即可，（关联一个source对应多个sink解决思路）

问题二：我们是采用datastream api开发的flink任务，在web-ui界面提交任务，造成taskManager的jvm Metaspace一直增长直到节点挂掉。

报错就不贴了，就是taskmanager会自动挂掉，查看tm的日志是oom异常：jvm metaspace溢出；

问题分析：我们采用web-ui多次提交flink任务时，flink是动态类加载，所以不会释放上一个jar的元空间，才会造成jvm垃圾不回收；

可以看官方的issues：
https://issues.apache.org/jira/browse/FLINK-11205
https://issues.apache.org/jira/browse/FLINK-16408

问题解决：把jar放到flink/lib目录下就可以了，这样flink会优先加载父加载器中的类；

这里需要注意和以前的jar会造成版本冲突，具体解决你可以根据报错信息慢慢调试，我这里贴一个我的环境信息：
当前环境中的lib包
在这里插入图片描述
我增加的lib包
在这里插入图片描述
下面是我的jar包依赖，打完包放到lib中即可

<properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
        <flink.version>1.15.3</flink.version>
        <flink.connector.sr>1.2.5_flink-1.15</flink.connector.sr>
        <flink.connector.mysql>2.3.0</flink.connector.mysql>
        <scala.binary.version>2.12</scala.binary.version>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-runtime</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-api-java</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-base</artifactId>
            <version>${flink.version}</version>
        </dependency>
        
        <!-- 基础包 -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-clients</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-java</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>com.starrocks</groupId>
            <artifactId>flink-connector-starrocks</artifactId>
            <version>${flink.connector.sr}</version>
        </dependency>
        <dependency>
            <groupId>com.ververica</groupId>
            <artifactId>flink-connector-mysql-cdc</artifactId>
            <version>${flink.connector.mysql}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-test-utils</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-test-utils</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>8.0.29</version>
        </dependency>
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <version>1.18.26</version>
        </dependency>
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-api</artifactId>
            <version>2.0.4</version>
        </dependency>
        <dependency>
            <groupId>ch.qos.logback</groupId>
            <artifactId>logback-classic</artifactId>
            <version>1.3.4</version>
        </dependency>
        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>connect-api</artifactId>
            <version>2.7.1</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-shaded-hadoop-2</artifactId>
            <version>2.8.3-10.0</version>
        </dependency>
        <dependency>
            <groupId>commons-cli</groupId>
            <artifactId>commons-cli</artifactId>
            <version>1.5.0</version>
        </dependency>
        <dependency>
            <groupId>log4j</groupId>
            <artifactId>log4j</artifactId>
            <version>1.2.17</version>
        </dependency>
        <dependency>
            <groupId>cn.hutool</groupId>
            <artifactId>hutool-all</artifactId>
            <version>5.8.15</version>
        </dependency>
        <dependency>
            <groupId>org.springframework</groupId>
            <artifactId>spring-beans</artifactId>
            <version>5.3.26</version>
        </dependency>

        <dependency>
            <groupId>org.yaml</groupId>
            <artifactId>snakeyaml</artifactId>
            <version>2.0</version>
        </dependency>

    </dependencies>

问题二：最后就是在web-ui提交任务，你也可以用命令行，这里我用的源码包，就是我开发的实际编写代码，就几十K

在这里插入图片描述
最后如果解决了你的问题，请点个赞吧在这里插入图片描述

Flink 写入 ClickHouse 大对象导致内存溢出（OOM）的解决方案
2301_79367634的博客
08-21 594
在使用 Flink 写入 ClickHouse 大对象时，需要注意内存溢出的问题。在大数据处理中，Apache Flink 是一个广泛使用的流处理框架，而 ClickHouse 是一个高性能的列式数据库。这是因为 Flink 默认将数据保存在内存中，而大对象可能会占用大量的内存空间，导致堆内存溢出。调整 ClickHouse 配置：增加 ClickHouse 实例的内存限制，以适应大对象的存储。数据压缩：使用 ClickHouse 提供的数据压缩功能，减少数据在存储和传输过程中的内存占用。
Spark面试问题总结
weixin_41367158的博客
03-07 441
在Spark中有两类task，一类是shuffleMapTask，一类是resultTask，第一类task的输出是shuffle所需数据，第二类task的输出是result，stage的划分也以此为依据，shuffle之前的所有变换是一个stage，shuffle之后的操作是另一个stage。但是这里必须要注意的是，在实际的生产环境中，恐怕能够直接用这种策略的场景还是有限的，如果RDD中数据比较多时（比如几十亿），直接用这种持久化级别，会导致JVM的OOM内存溢出异常。如果提交失败了，它将会重试；
【转载】flink 在 flink standalone模式下元空间内存溢出排查及问题解决
c18802081049的博客
03-19 346
结论：由于任务是跑在flink的standalone模式下，job在TaskManager中是运行在同一个jvm，并且用完后并不会像YARN per job 模式一样释放资源，集群的类加载模式选用childfirst类加载器，客户端每次重复提交jar包，就会不停的加载插件类class到元空间中，然后元空间就会不断上升，直到溢出。JVM特定内存是不在Flink的总内存范围内的，其中JVM Metaspace用来存储JVM加载类的元数据，如果加载的类越多，需要的内存空间越大。
jvm的元空间溢出案例及解决办法，给出详细例子
weixin_39304656的博客
09-26 494
元空间溢出频繁动态生成类：例如使用大量代理类（如 Spring AOP 或 CGLIB 生成的动态代理）。类加载器泄露：类加载器无法被回收，导致其加载的类无法被卸载。超过元空间大小限制：元空间的最大大小由 JVM 参数控制，若内存不足以容纳更多的类元数据，会导致错误。增加元空间大小：调整 JVM 参数来增加元空间的最大值。避免类加载器泄漏：检查类加载器的使用，确保类加载器可以被正确回收。减少动态类生成：优化动态代理代码，避免频繁地生成不必要的类。监控元空间使用。
Flink Taskmanager 内存溢出
qq_29186793的博客
10-21 1759
Flink kafka
Flink批处理metaspace内存溢出问题
polarrwl的专栏
12-07 4438
Flink metaspace内存泄漏问题
flink同步MySQL数据的时候出现内存溢出
最新发布
weixin_40909544的博客
10-20 48
flink同步MySQL数据的时候出现内存溢出 背景：需要将1000w的某类型数据同步到别的数据源里面，使用公司的大数据平台可以很快处理完毕，而且使用的内存只有很少很少量(公司的大数据平台的底层是flink，但是连接器使用的是chunjun开源产品)，由于我个人想使用flink原生的连接器来尝试一下，所以就模拟了1000w的数据，然后启动了flink单节点，通过flinksql的方式提交了同步...
使用Canal实现ClickHouse实时同步MySQL数据
scott_nodejs的博客
08-10 3133
ClickHouse作为OLAP分析引擎已经被广泛使用，数据的导入导出是用户面临的第一个问题。由于ClickHouse本身无法很好地支持单条大批量的写入，因此在实时同步数据方面需要借助其他服务协助。本文给出一种结合Canal+Kafka的方案，并且给出在多个MySQL实例分库分表的场景下，如何将多张MySQL数据表写入同一张ClickHouse表的方法，欢迎大家批评指正。......
Flink自学教程
热门推荐
weixin_43342277的博客
10-05 2万+
Flink自学教程 1.1.Flink的引入 这几年大数据的飞速发展，出现了很多热门的开源社区，其中著名的有 Hadoop、Storm，以及后来的 Spark，他们都有着各自专注的应用场景。Spark 掀开了内存计算的先河，也以内存为赌注，赢得了内存计算的飞速发展。Spark 的火热或多或少的掩盖了其他分布式计算的系统身影。就像 Flink，也就在这个时候默默的发展着。 在国外一些社区，有很多人将...
好未来数据中台实时数据平台演进
weixin_57646982的博客
04-25 1072
摘要：本文由好未来资深数据平台工程师毛祥溢分享，主要介绍批流融合在教育行业的实践。内容包括两部分，第一部分是好未来在做实时平台中的几点思考，第二部分主要分享教育行业中特有数据分析场景。大纲如下： 背景介绍 好未来 T-Streaming 实时平台 K12 教育典型分析场景 展望与规划 Tips：点击文末【链接】即可下载作者分享 PPT 并回顾原版分享视频～ 1.背景介绍 好未来介绍 好未来是一家 2003 年成立教育科技公司，旗下有品牌...
Java工程师成神之路 | 2022正式版
m0_67698950的博客
06-15 1302
面向对象什么是面向对象面向对象与面向过程面向对象的三大基本特征面向对象的五大基本原则封装、继承、多态什么是多态方法重写与重载Java的继承与实现Java的继承与组合构造函数与默认构造函数类变量、成员变量和局部变量成员变量和方法作用域平台无关性Java如何实现的平台无关性的JVM还支持哪些语言值传递值传递、引用传递为什么说Java中只有值传递小伙伴们有兴趣想了解内容和更多相关学习资料的请点赞收藏+评论转发+关注我，后面会有很多干货。我有一些面试题、架构、设计类资料可以说是程序员面试必备！所有资料都整理到网盘了
Flink元空间内存溢出
旺旺的博客
06-11 2127
一.问题现象 flink运行一会就报心跳超时 数据量不是很大 版本 1.10 taskmanager.err日志 web界面日志报心跳超时 二.问题定位 1. 得到taskmanager的pid 进入到tm的web界面查看运行在哪台机器上，并且得到端口号为40002 在slave4上输入以下命令即可得到进程id为24047 netstat -anp | grep 40002 2.进入到slave4节点上使用jstat -gc 进程id 1000 查看gc情况 从下图看出
flink任务内存溢出一天或者更短时间taskmanager挂掉
dyq51的博客
08-28 5941
我的情况和处理过程 情况：local(不是yarn)，localfilesystem(不是HDFS),mongo单机 处理过程： 增大flink内存 taskmanager.network.memory.fraction （问题出现时间延长出现） 按网上反压方法的操作一边（没有解决） 有说keyby中的key有变动（不符合我的情况） 解决方法：将窗口滑动时间由1分钟改...
Apache Flink 技术解读之分布式运行时环境
imgxr的博客
08-17 892
本文基于 Apache Flink 1.3 版本官方文档翻译。 任务与运算符链接在实际的分布式计算环境中，Flink 会将多个运算子任务链接到分布式计算任务中。每个线程执行一个计算任务。将运算符链接到计算任务中对于系统性能的提升有很大的帮助：它降低了线程间切换与缓冲的开销，并且在降低延时的同时减少了系统的总体吞吐量。可以对这种链接操作进行配置，具体内容请参考链接文档。如下图所示的数据流图包含...
Flink运行过程中出现java.lang.OutOfMemoryError: Metaspace异常的原因及解决方案
qq_35939417的博客
07-27 8989
熟悉java的人都知道java.lang.OutOfMemoryError: Metaspace异常产生的原因是“元数据区”内存溢出了，从JDK8开始，HotSpot JVM废弃了永久区PermGen space，采用Metaspace保存class名称、字段、方法、字节码,、常量池、JIT优化代码等信息。所以出现这个异常的原因一般是加载到内存中的类太多了。 通过 ps -ef|grep flink 可以查看flink进程的Metaspace配置，如图： 还可以通过 jinfo -flag Metaspac
Flink运行任务中，出现节点挂掉的现象--已解决
weixin_43655417的博客
07-23 5408
Flink App抛出The assigned slot container_e08_1539148828017_15937_01_003564_0 was removed.此类异常，通过查看日志，一般就是某一个Flink App内存占用大，导致TaskManager（在Yarn上就是Container）被Kill掉。如果代码写的没问题，就确实是资源不够了，其实1G Slot跑多个Task（Slo...
Flink消费Kafka时出现选择器关闭连接、空网络接收和内存溢出错误的解决方法
2301_79366177的博客
08-29 316
在大数据处理中，Apache Flink是一个常用的流处理框架，而Kafka则是一个常用的分布式消息队列。在使用Flink消费Kafka数据时，有时可能会遇到一些报错，如选择器关闭连接、空网络接收和内存溢出错误。通过以上方法，您可以解决Flink消费Kafka时可能遇到的选择器关闭连接、空网络接收和内存溢出错误。希望本文对您有所您有所帮助！当Flink尝试连接Kafka集群时，如果连接失败或连接超时，就会出现这个错误。Flink消费Kafka时出现选择器关闭连接、空网络接收和内存溢出错误的解决方法。
利用jemalloc解决flink的内存溢出问题
Deepexi_Date的博客
06-21 5587
遇到一个Linux系统 glibc内存分配导致的OOM问题，根源是内存回收出现问题，导致碎片太多，内存无法回收，系统认为内存不够用了。 涉及到以下知识点： 1、Linux中典型的64M内存区域问题 2、glibc内存分配器ptmalloc2的底层原理 3、glibc的内存分配原理（Arean、Chunk、bins等） 4、malloc_trim对内存回收的影响......
Flink遇到内存错误：直接缓冲区内存不足问题
YbDocker的博客
09-21 712
通过增加JVM的直接内存限制、减少网络流量、优化算子链或者增加任务管理器的内存等方式，可以有效解决这个问题。本文将讨论一种常见的内存错误：OutofMemoryError: Direct buffer memory，并提供相应的解决方案。Flink任务运行在任务管理器上，每个任务管理器都会有一定的内存限制。如果算子链中存在过多的状态或者内存密集型的计算，都可能导致内存溢出。直接缓冲区使用的是JVM的直接内存，默认情况下，其占用的内存大小是有限制的。在Flink任务中，数据的传输是通过网络进行的。
flink mysql binlog
06-09
您的问题不太明确，请问您需要了解关于Flink和MySQL Binlog的整合吗？如果是的话，我可以为您提供一些简单的介绍。 Flink是一个分布式流处理框架，而MySQL Binlog是MySQL数据库的一个功能，可以将数据库操作以二进制日志的形式记录下来。通过整合Flink和MySQL Binlog，我们可以实现实时的数据同步和处理。 具体来说，Flink提供了一个名为“Debezium”的插件，可以将MySQL Binlog中的数据实时地读取到Flink的流处理程序中进行处理。通过这种方式，我们可以实现实时的数据同步、数据清洗、数据分析等业务需求。 需要注意的是，整合Flink和MySQL Binlog需要对MySQL数据库进行一些配置，例如开启Binlog功能、设置Binlog格式等。同时，也需要对Flink进行一些配置，例如配置Debezium插件、设置数据源等。 希望以上信息能够对您有所帮助。如果您有更具体的问题或需求，也欢迎随时向我提问。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值