- 博客(12)
- 收藏
- 关注
RSS订阅原创 FlinkCDC x Paimon进行数据同步 使用paimon-flink-action包 NoClassDefFoundError 依赖问题解决
终极解决方案：第一步：打一个flink-connector-mysql-cdc-3.4.0.jar的胖包，并加入kafka/connect的重定位配置...
2025-06-05 17:27:10
1027
原创 Pyflink二次开发后如何打包代码,并构建成docker镜像？
启动一个交互容器docker run -u root -it --rm flink:2.0.0 /bin/bash。在flink源码处，直接将整个flink-parent进行编译(clean intall)，可以看到pyflink.zip文件，将其替换为我们刚才生成的pyflink.zip。然后到你的python环境，比如pycharm，来执行pip命令安装即可。# 官方版的pyflink 应该不用安装了，但是我是先安装了再覆盖的。根据官网的指引，安装python和pyflink。
2025-05-17 12:45:41
424
原创 Pyflink 报错：java.net.MalformedURLException: no protocol: [‘file:/opt/flink/opt/flink-python-1.xx...]
虽然在2.0.0已经解决且合并，但是我公司是用的docker来部署flink集群，docker的官方库的flink 2.0.0是5月19日更新的，这个bug修复是5月20日合并的，而且pip库也是同样还没更新，没办法了，只能自己从最新的源码来构建docker镜像和python库了，如果读者不确定你所在的版本，这个bug有没有修复，可以在flink依赖库中搜索：flink-python/pyflink/common/configuration.py。但是后来我翻了一下社区的邮件，发现有人提过这个问题了。
2025-05-17 12:01:24
402
2
原创 Flink: kafka sink如何指定key？自定义Schema: DynamicKeySerializer
官方的kafka-connector中的kafka sink api 不支持自己指定key，于是我就自己动手写了一个schema来支持这个功能。
2025-04-22 15:29:44
319
原创 Pyflink SimpleStringSchema反序列化器的局限性问题解决，自定义DeserializationSchema
pyflink 在使用kafka source时，可能遇到SimpleStringSchema无法反序列化而报错的情况，比如debezium产生的墓碑事件（value为空）。我们可以自定义反序列化器来解决这个问题。
2025-03-25 11:00:27
496
原创 Pyflink自定义Sink实现，以Neo4j Sink为例
Flink Neo4jSink 的java实现和python实现。java一个小时能写出三种实现，老架构、新架构、新架构v2。pyflink是真的不好用，非必要还是用java api！
2025-03-13 16:36:23
1127
原创 Flink源码编译完成之后，部分代码构建后显示找不到
比如说以下代码：flink-table/flink-sql-parser/src/main/java/org/apache/flink/sql/parser/dql/SqlShowDatabases。另外建议强迫症选手在此后不要点开ParseException类哈，不然会报红让你把目录已到项目根目录去，显然咱们不可能移过去，虽然不影响使用，但是看着很烦。原因：这个目录其实是flink运行时由javacc生成的，我们编译完成后，可以在target目录找到它。
2025-02-19 15:37:26
189
原创 Flink源码编译报错Connect to repository.apache.org:443 [repository.apache.org/65.109.119.155] failed: Conne
开启vpn时，部分流量没有代理，即使是全局代理，也会有同样报错，解决方式：开启vpn TUN代理模式，即可代理本机所有流量。
2025-02-18 19:53:28
199
原创 flink源码编译时flink-runtime-web模块报错npm相关
看看这两个文件是否完整（看大小），如果不完整，删掉这个文件，再重新clean install，还不行可以自己去网上下载node.exe文件放进来。编译了三四次源码了，flink版本1.16 1.18 1.20，分别在各种不同环境下编译都遇到了这个报错，有时候node.js和npm一起报错。首先在flink-runtime-web的pom文件找到这一行，将npm镜像改为。这次我编译比较顺利，暂时没有遇到其他问题，以后有机会再收集其他的问题。node.js报错的话，找到本地仓库地址。
2025-01-27 15:46:32
1673
原创 PyFlink/Flink datastream api写ES无法写复合数据类型的一种解决方案
pyflink/flink 写ES 无法写复合数据类型？？？
2025-01-27 10:05:11
308
原创 编译flink源码报错Too many files with unapproved license: 8 See RAT report in
编译flink源码时报错 Too many files with unapproved license: 8 See RAT report in: D:\apache-maven-3.9.9\mvn_repo\flink-1.20.0\flink-formats\flink-avro\target\rat.txt。在IDEA的设置里找到Maven->Runner，VM Options添加 -Drat.skip=true。
2025-01-27 09:11:53
270
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人