![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 71
BUG记录机
记录一些bug问题,一部分技术code,还有一些任何我想要记录的东西。。
展开
-
Flink任务自动恢复脚本
JOB_NAME$((1))$job_id$JOB_NAME$(date这个脚本的流程:从tmp文件里面读取jobID如果读取到就查找checkpoints路径从而恢复,如果第一个jobid没有找到tmp文件里面会记录上一次可用检查点的jobid,然后恢复;启动任务后会调用函数有容错的读取jobid从而写入到tmp文件中,并且会使用一个线程一直去监测任务的运行情况,执行上述的逻辑。原创 2024-05-27 14:20:48 · 460 阅读 · 0 评论 -
【Flink】关于jvm元空间溢出,mysql binlog冲突的问题解决
:原理就是我们把原来7张在一个数据库的表放到一个flink source中读取,在指定传输到那个starrocks表时,官方已经实现了代码支持,我们只需要增加一个flink算子转换成sink支持的对象即可,(关联一个source对应多个sink解决思路)可以看官方的issues:https://issues.apache.org/jira/browse/FLINK-11205https://issues.apache.org/jira/browse/FLINK-16408这里需要注意和以前的jar会造成原创 2023-09-05 16:56:26 · 1520 阅读 · 0 评论 -
Flink cdc同步mysql到starrocks(日期时间格式/时区处理)
flink 1.15.3(此时最新版本为1.16.1)mysql 5.7+mysql同步表结构mysql中的timestamp字段是可以正常同步的,但是多了8小时,设置了mysql链接属性也没效果参考下方的链接有两种方式;原创 2023-03-09 14:00:24 · 1978 阅读 · 4 评论 -
Flinkcdc同步mysql到StarRocks(删除)
2、1.13版本需要自定义序列化格式(删除的关键点)3、1.13版本编写source & sink1.15版本代码1.15版本的pom.xml序列化和日期转换(删除必须,日期转换类如果报notfound,看上方1.13处关于日期处理的链接文章)1.15版本的同步任务最后:保证mysql和sr中已经建立了表就可以完成一比一同步;如果解决了你的问题原创 2022-12-15 11:42:25 · 1873 阅读 · 0 评论