- 博客(8)
- 收藏
- 关注
原创 SQL转Elasticsearch的DSL(二)
此前分享了通过引入外部的 GO 程序来实现 SQL 到 DSL 的转换的文章,然而在后续测试过程中发现部分条件的转换仍有问题,例如不支持 IS 和 IS NOT。所以在这段时间,决定自行编写一个更为完善的转换工具以支撑自身项目。
2024-08-01 08:30:00
1049
原创 Flink异步I/O提高维度关联效率
从两次测试样本来看,Async I/O 确实要比同步I/O速度要快,但是从监控来看Async I/O时内存使用以及GC也比同步I/O要消耗的资源更大,所以在优化时也要考虑外部系统的承受压力,合理设置参数。有精力的兄弟可以自己测试一下~
2024-07-29 18:55:54
289
原创 Flink HBase Sink
昨天整理了一下Flink写Elasticsearch的SinkFunction,可以支持插入写、更新写和删除写,顺便把HBase的SinkFunction也修改了一下,支持插入写和删除写。有需要的可以试试~
2024-07-27 20:16:59
191
原创 Flink Elasticsearch Sink
看flink源码时看到了Flink对Elasticsearch的连接器,因为平时往es写数据比较频繁,所以参考源码并且精简了一下,有需要的可以试试~
2024-07-26 20:13:14
156
原创 ElasticSearch:SQL 转 DSL
最近项目中出了点问题,原因是将ES的查询SQL通过ES Service的_sql/translate 接口转换为DSL时,出现了严重嵌套的问题.
2024-07-25 18:15:00
1025
原创 Flink源码(一):StreamGraph
前提:由于最近需要在原有Flink CEP的基础上,实现动态加载CEP规则的需求,因此想到了通过自定义动态CEP算子以及自定义动态pattern加载的算子协调器实现规则的更新。因此在开发同时记录一下Flink数据处理的过程。
2024-07-23 22:57:27
873
原创 centos 7.5 安装 openGauss 6.0.0-RC1 极简版
centos 7.5 安装 openGauss 6.0.0-RC1 极简版
2024-06-27 23:41:46
222
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人