flink
monsterXZB
这个作者很懒,什么都没留下…
展开
-
flink读取kafka 提交offset
【1】配置checkpoint,flink的Barrier数据对齐机制会将sink端的Barrier提交到jobmanager ,jobmanager 提交offset。flink的kafka客户端的cousmer中查询是否存在offset,如果存在,则是使用kafka的offset,不存在则从头开始读取 、 最新地方。【2】配置checkpoint,当chekcpoint完成时【1】会提交offset。flink设置为latest / earliest模式。原创 2023-10-07 11:31:51 · 574 阅读 · 0 评论 -
flink dataStream 在aggregateFunction 不能使用metrics
Exception in thread "main" java.lang.UnsupportedOperationException: This aggregation function cannot be a RichFunction. at org.apache.flink.streaming.api.datastream.WindowedStream.aggregate(WindowedStream.java:289)原创 2023-06-29 15:38:58 · 285 阅读 · 0 评论 -
flinkSQL1.16.0 动态加载udf包(一)
最主要的就是,需要udf包中不能有多余的依赖, 不然很容易导致依赖冲突.如果有错误,欢迎指正、交流 ,谢谢!原创 2023-05-24 15:09:07 · 1189 阅读 · 2 评论 -
flink-keyby调研
Flink中的keyBy操作是用于根据指定的键将数据流进行哈希分区的操作。它,这样可以实现基于键的聚合、分组和窗口操作当应用程序执行KeyBy操作时,Flink会根据指定的键对输入流的每个元素进行键提取操作,从而获取键值。然后,Flink中的哈希函数是确定性的,即相同的键值始终会得到相同的哈希值。这样可以保证具有中,从而实现数据的分组。在分组完成后,。KeyBy操作常用于数据流的分组聚合操作,例如对某个属性进行求和、计数等聚合操作。原创 2023-05-31 14:28:12 · 418 阅读 · 1 评论 -
flinkSQL1.16.0 动态加载udf包(二)
编写udf的动态jar的代码要点。原创 2023-05-25 18:09:11 · 422 阅读 · 0 评论 -
flinkSQL-udf Row中有多个Array格式编写
需求:今天想要编写一个UDF函数,返回的结果是一个嵌套的类型。原创 2023-05-30 16:10:53 · 534 阅读 · 3 评论 -
flink适配elasticsearch-8 connector 心得
来源:https://github.com/apache/flink-connector-elasticsearch/pull/53/files。好了,整体的调整部分就是这样了,接下来就是测试了 ,可与参考test/下的Elasticsearch8SinkTest。需要在这儿自定义esClient,根据自身环境设置设置es的header 、认证、ssl等。使用的是kryo格式的序列化和反序列化,如果数据源是json,需要调整序列化方法。如有不对,欢迎请大家指正,不胜感激,欢迎评论。es-8 connec原创 2023-05-17 11:26:53 · 1595 阅读 · 0 评论 -
flink1.16支持的connectors
使用flink流程source -transform- sink。不管是source或者sink都必须使用响应的connectors。原创 2023-02-21 15:28:44 · 148 阅读 · 0 评论 -
flink-es 之 画蛇填足
flink - es之画蛇填足原创 2022-01-14 15:33:41 · 1229 阅读 · 0 评论