![](https://img-blog.csdnimg.cn/20190927151117521.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Flink
文章平均质量分 51
流行实时流计算引擎
硅谷工具人
一颗么得灵魂的工具人,学废了。
展开
-
Flink读取iceberg表
这里使用的版本时1.14.6,scala版本是2.12.原创 2024-03-11 14:40:00 · 489 阅读 · 0 评论 -
Flink使用TableAPi方式读取和写入Hive
(1)验证了Hive中org.openx.data.jsonserde.JsonSerDe格式的表是可以直接读取数据出来的。以下是一个简单的参考实例,用来验证通过FlinkSQL来跑批方式清洗Hive数据可行的。(4)将清洗完的流数据转为表,再通过SQL方式插入到hive中。(2)通过TableAPI方式读取Hive表。(3)表转流操作,以及在流中做数据清洗。原创 2022-12-21 18:13:05 · 1051 阅读 · 0 评论 -
withIdleness-Flink消费kafka针对空闲分区的设置
这样会导致水位线一直以最迟的数据为准,这样导致了水位线不会增长,而数据量大的分区的数据堆积严重的情况,这时候使用withIdleness参数,可以标记空闲的分区的等待时间,等超过这个时间以后,就会触发窗口计算一次。withIdleness: 如果消费kafka时,有多个分区,并且产生了数据倾斜,原创 2022-08-24 01:57:07 · 803 阅读 · 0 评论 -
Flink+Iceberg开发笔记
使用hive建表时,hive中使用bigInt类型,使用scala开发flink的程序时,定义的字段不能使用BigInteger,而需要使用Long类型。原创 2022-08-15 00:46:10 · 209 阅读 · 0 评论 -
Flink本地模式显示web
在POM文件中加入jar包,,否则会访问不了。本地调试模式,代码如下,通过绑定一个端口范围来展示,防止本地端口被占用出现异常。这样在浏览器中输入localhost:8081就会出现了。原创 2022-08-13 15:56:09 · 1376 阅读 · 0 评论 -
flink1.14.0中集成hive3.1.2
不想看太多的话,直接拉到第二部分操作步骤:1. 是解决过程:在flink1.14.0中已经移除sql-client-defaults.yml配置文件了。参考地址:https://issues.apache.org/jira/browse/FLINK-21454于是我顺着这个issue找到了FLIP-163这个链接。https://cwiki.apache.org/confluen......原创 2021-10-06 03:05:00 · 2054 阅读 · 4 评论 -
Flink-时间语义与水位线
1. 时间语义事件时间 业务发生时的时间。获取时间 flink中DataSource拿到数据的时间。处理时间 flink开始处理业务的时间。 //指定时间语义 env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime)1.12版本之前,默认的时间语义是处理时间(ProcessingTime)1.12版本之后,默认的时间语义是事件时间(EventTime)2. 水位线2.1 事件时间与窗口应用场景:原创 2022-05-24 17:57:50 · 369 阅读 · 0 评论