flink
文章平均质量分 57
实时计算
pmdream
每天进步一点点,如果没有学习那就是倒退
展开
-
[mysql&flink]关于同步数据,binlog怎么做增量
前言之前探讨的,整理一下简单的思路mysql -> hive 进行同步。主要的问题点在于,订阅增量 以及初始化,之间是有时间间隔的。怎么做才能保证数据的准确性前提:都是通过canal 读取binlog。canal进行抽数。弄到kafka 然后flink进行消费。解决方案方案1. 可以使用flink cdc进行消费https://blog.csdn.net/u011532105/article/details/109644444作者:收数佬大概就是这么个新东西原创 2021-08-23 01:59:35 · 939 阅读 · 0 评论 -
[flink]flink在open里面,mysql链接失效
目录前言原因解决办法关于MYSQL的链接失效解法前言最近看mysql的时候,把之前工作的一些事情串起来。想到了之前,flink任务,链接其实也是8小时就断开了记得好像是,后续就是每次判断一下,是否close或者失效了,写在open里面或者进行reset一下~来防止断开。回顾一下,可能有写东西会对别的人查询资料有帮助。原因因为我们dba 应该是设置了链接超时时间,我印象中是8小时。所以需要在用的时候检查一下。解决办法 private sta...原创 2021-08-23 01:14:20 · 1765 阅读 · 0 评论 -
[flink]各种大厂开源案例
Flink 开源案例集 序号 志愿者 客户 标题 作者 文章链接 1 Bigo直播 流批一体生产应用!Bigo 实时计算平台建设实践 徐帅 @Bigo https://mp.weixin.qq.com/s?__biz=MzU3Mzg4OTMyNQ==&mid=2247491079&idx=1&sn=e6ce771ddb6b13e9515...原创 2021-08-10 16:36:58 · 1182 阅读 · 0 评论 -
[flink-sink]BucketingSink写文件会有pending状态
flink在1.8版本,我们使用了package org.apache.flink.streaming.connectors.fs.bucketing;遇到了坑:flink在写文件的时候,正在写的文件是:.in-progress结尾的;如果写完了,会有一个.pending的状态,会等checkpoint之后,才会将文件_开头的文件 正式转为非_开头的数据。hive在读数据的时候,不会读取_开头的数据!所以非常偶尔会有数据缺失的bug,比如我们任务merge任务已原创 2021-07-20 11:55:55 · 1037 阅读 · 0 评论 -
[flinkx]打包问题,找不到对应的jar
Could not find artifact com.kingbase8:kingbase8:pom:8.2.0 in public (https://repository.cloudera.com/artifactory/cloudera-repos/)下载下来:https://github.com/DTStack/flinkx/blob/1.10_release/jars/readme.md然后把对应的jar 弄到本地的maven仓库里面:db2jcc:mvn install:in原创 2021-06-23 16:07:51 · 1506 阅读 · 0 评论 -
[flink]flink-sql-gateway的调试过程(二)sql的解析过程
前言:sql的解析过程,看到代码中用到的是: RelMetadataQuery.THREAD_PROVIDERS .set(JaninoRelMetadataProvider.of(FlinkDefaultRelMetadataProvider.INSTANCE()));整个SqlCommandCall用的就是这个类里面的静态类/* * Licensed to the Apache Software Foundation (ASF) under one * or mor.原创 2021-01-28 22:32:20 · 1258 阅读 · 0 评论 -
[flink]flink-sql-gateway的调试过程(一)
前言:必须要有flink环境,启动gateway服务;1. 测试脚本的启动过程还有点问题,不过能看到启动的过程了;因为服务已经挂在到服务器,使用远程debug就行,看看具体细节。$ ./run-tests.sh Preparing test data...No HDFS address provided. Putting test data into /tmp directory...Reading Flink config...Starting rest endpoint原创 2021-01-27 20:53:11 · 3306 阅读 · 0 评论 -
[flink]本地搭建flink 1.11环境,并启动
前言:主要是看一下,开源的一个项目的运行情况,debug一下flink-sqlDownload (or build) the Flink package. Flink SQL gateway currently only supports Apache Flink 1.10, you can download Flink 1.10 fromhere.所以搭建一下1.10的集群。1. ...原创 2021-01-27 14:54:22 · 1040 阅读 · 0 评论