flink
文章平均质量分 69
flink 相关问题集锦
cuichunchi
java开发 后期 转向了大数据开发 有小伙伴想转大数据可以咨询我哟
展开
-
flink 实时维表关联方案
实时维表关联原创 2023-03-03 15:40:12 · 226 阅读 · 0 评论 -
Flink 解析kafka avro格式
flink 对接kafka avro原创 2022-11-04 16:02:28 · 761 阅读 · 1 评论 -
Flink中allowedLateness介绍与测试
默认情况下,当watermark通过end-of-window之后,再有之前的数据到达时,这些数据会被删除。为了避免有些迟到的数据被删除,因此产生了allowedLateness的概念。简单来讲,allowedLateness就是针对event time而言,对于watermark超过end-of-window之后,还允许有一段时间(也是以event time来衡量)来等待之前的数据到达,以便再次处理这些数据默认情况下,如果不指定allowedLateness,其值是0,即对于watermark原创 2022-02-24 19:20:33 · 1301 阅读 · 0 评论 -
Flink watermark 测试
代码如下:package com.cuichunchi.watermark;import org.apache.flink.api.common.eventtime.SerializableTimestampAssigner;import org.apache.flink.api.common.eventtime.WatermarkStrategy;import org.apache.flink.api.common.functions.MapFunction;import org.apac原创 2022-02-23 23:30:59 · 724 阅读 · 0 评论 -
Flink Sort-shuffle简介
Flink Sort-Shuffle 实现简介sort-shuffle 使得 Flink 在应对大规模批数据处理任务时更加游刃有余。https://mp.weixin.qq.com/s?__biz=MzU3Mzg4OTMyNQ==&mid=2247494455&idx=1&sn=7de90d250794ea095847d82d02b8dc30&chksm=fd386575ca4fec634aae8b3d8567c60e3b9ab95d7c1d492c07a63bed0fc9e原创 2022-02-23 15:40:53 · 433 阅读 · 0 评论 -
基于Flink 1.13.2问题集锦
问题:1、使用flink mysql cdc 发现bigint unsigned类型的字段,capture以后转成了字符串类型,用的这个解析吧JsonDebeziumDeserializationSchema。解决:在设置debeziumProperties方法里传入以下参数:properties.setProperty("bigint.unsigned.handling.mode","long");properties.setProperty("decimal.handling.mode"原创 2021-12-14 14:12:03 · 2549 阅读 · 0 评论 -
Flink 1.13 一些配置参数记录
持续更新...网络通信: akka.ask.timeout:用于异步futures和阻塞调用Akka的超时,如果flink因为超时而失败,则可以尝试增加此值,超时可能是由于机器速度慢或网络拥挤造成的。超时值需要时间单位说明符(ms/s/min/h/d)。源码默认值:10s。所属源码类:AkkaOptions。 akka.tcp.timeout:用于和taskManager之间的通信,如果由于网络速度较慢而在连接TaskManager时遇到问题,则应增加此值。默认值:20s。源码类:A原创 2021-12-12 17:35:20 · 3856 阅读 · 0 评论