![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flink
文章平均质量分 72
dinl_vin
这个作者很懒,什么都没留下…
展开
-
flink + kafka 同步binlog的一次关于数据顺序的实践
场景说明 业务部门的Mysql数据使用阿里DTS(数据传输工具)上报了binlog日志。对于数仓部门有两个需求从DTS将数据,只保留type(insert,delete,update)跟record到kafka方便多方消费;为了验证Kafka准确性,数仓部门也消费kafka数据落地到Hologres,对比hologres与mysql原表保证完全一致。问题DTS端并行度为1,但是ETL过程因为下游算子有多个并行度,有可能出现数据乱序(DTS->Kafka乱序)消费Kafka的时候由原创 2021-09-17 14:43:23 · 1869 阅读 · 0 评论 -
Flink踩坑记录
说明gradle项目+scala 2.11+java8+flink 1.12出错代码:kafkaSource.assignTimestampsAndWatermarks(WatermarkStrategy .forBoundedOutOfOrderness[JSONObject](Duration.ofSeconds(10)))报错信息:Static Methods in interface require -target:jvm-1.8从报错看是scala尝试调用Java接口中的静原创 2021-09-16 16:23:57 · 376 阅读 · 0 评论 -
Flink 学习记录(二) DataStreamAPI①
从WordCount开始类似于学习任何变成语言的Hello World一样,大数据框架的Demo通常从Word Count开始,看一看Flink 是怎么做Word Count的吧~//DataStrem Api Word Countimport org.apache.flink.api.common.functions.FlatMapFunction;import org.apache.flink.api.java.tuple.Tuple2;import org.apache.flink.stre原创 2021-01-28 11:00:27 · 144 阅读 · 0 评论 -
Flink学习记录(一) 欺诈性校验
Flink 欺诈校验 V1项目构建mvn archetype:generate \-DarchetypeGroupId=org.apache.flink \-DarchetypeArtifactId=flink-walkthrough-datastream-java \-DarchetypeVersion=1.11.0 \-DgroupId=frauddetection \-DartifactId=frauddetection \ -Dversion=0.1 \-Dpackage=sp原创 2021-01-19 17:13:59 · 617 阅读 · 0 评论