Flink
文章平均质量分 57
Dengd_z
写BUG经验丰富的大数据开发----------
展开
-
Flink异步I/O提高维度关联效率
从两次测试样本来看,Async I/O 确实要比同步I/O速度要快,但是从监控来看Async I/O时内存使用以及GC也比同步I/O要消耗的资源更大,所以在优化时也要考虑外部系统的承受压力,合理设置参数。有精力的兄弟可以自己测试一下~原创 2024-07-29 18:55:54 · 308 阅读 · 0 评论 -
Flink HBase Sink
昨天整理了一下Flink写Elasticsearch的SinkFunction,可以支持插入写、更新写和删除写,顺便把HBase的SinkFunction也修改了一下,支持插入写和删除写。有需要的可以试试~原创 2024-07-27 20:16:59 · 231 阅读 · 0 评论 -
Flink Elasticsearch Sink
看flink源码时看到了Flink对Elasticsearch的连接器,因为平时往es写数据比较频繁,所以参考源码并且精简了一下,有需要的可以试试~原创 2024-07-26 20:13:14 · 177 阅读 · 0 评论 -
Flink源码(一):StreamGraph
前提:由于最近需要在原有Flink CEP的基础上,实现动态加载CEP规则的需求,因此想到了通过自定义动态CEP算子以及自定义动态pattern加载的算子协调器实现规则的更新。因此在开发同时记录一下Flink数据处理的过程。原创 2024-07-23 22:57:27 · 1527 阅读 · 0 评论