- 博客(12)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 flink读取kafka 提交offset
【1】配置checkpoint，flink的Barrier数据对齐机制会将sink端的Barrier提交到jobmanager ,jobmanager 提交offset。flink的kafka客户端的cousmer中查询是否存在offset，如果存在，则是使用kafka的offset,不存在则从头开始读取 、 最新地方。【2】配置checkpoint，当chekcpoint完成时【1】会提交offset。flink设置为latest / earliest模式。
2023-10-07 11:31:51
621
原创 Flink Gateway Restful API
接口Verb说明/v1/api_versionsGET获取gateWay API版本/v1/infoGETflink信息/v1/sessionsPOSt创建一个会话/v1/sessions/:session_handleDelete关闭指定会话/v1/sessions/:session_handleGET获取会话的配置信息/v1/sessions/:session_handle/heartbeatPOST触发指定会话心跳，告诉客户端
2023-07-04 17:34:50
171
原创 flink dataStream 在aggregateFunction 不能使用metrics
Exception in thread "main" java.lang.UnsupportedOperationException: This aggregation function cannot be a RichFunction. at org.apache.flink.streaming.api.datastream.WindowedStream.aggregate(WindowedStream.java:289)
2023-06-29 15:38:58
304
原创 flink-keyby调研
Flink中的keyBy操作是用于根据指定的键将数据流进行哈希分区的操作。它，这样可以实现基于键的聚合、分组和窗口操作当应用程序执行KeyBy操作时，Flink会根据指定的键对输入流的每个元素进行键提取操作，从而获取键值。然后，Flink中的哈希函数是确定性的，即相同的键值始终会得到相同的哈希值。这样可以保证具有中，从而实现数据的分组。在分组完成后，。KeyBy操作常用于数据流的分组聚合操作，例如对某个属性进行求和、计数等聚合操作。
2023-05-31 14:28:12
456
1
原创 flinkSQL1.16.0 动态加载udf包（一）
最主要的就是，需要udf包中不能有多余的依赖， 不然很容易导致依赖冲突.如果有错误，欢迎指正、交流 ，谢谢！
2023-05-24 15:09:07
1250
2
原创 flink适配elasticsearch-8 connector 心得
来源：https://github.com/apache/flink-connector-elasticsearch/pull/53/files。好了，整体的调整部分就是这样了，接下来就是测试了 ，可与参考test/下的Elasticsearch8SinkTest。需要在这儿自定义esClient，根据自身环境设置设置es的header 、认证、ssl等。使用的是kryo格式的序列化和反序列化，如果数据源是json，需要调整序列化方法。如有不对，欢迎请大家指正，不胜感激，欢迎评论。es-8 connec
2023-05-17 11:26:53
1690
原创 java 如何在获取泛型的class
我们首先使用 getClass().getGenericSuperclass() 方法获取表示当前类的带有泛型类型参数的父类的 Type 对象。如果该对象是 ParameterizedType 的实例，则我们可以使用 getActualTypeArguments() 方法获取表示泛型类型参数的 Type 数组。在本例中，我们假设只有一个泛型类型参数，因此我们可以直接获取该数组的第一个元素，并将其强制转换为泛型类型参数的 Class 对象。
2023-05-09 11:16:59
2508
1
原创 flink1.16支持的connectors
使用flink流程source -transform- sink。不管是source或者sink都必须使用响应的connectors。
2023-02-21 15:28:44
163
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人