学习总结
TreeCode
苟有恒,何必三更眠五更起
展开
-
2022-ES学习与实践
ES学习系列 核心场景:es5.x基于Flink-Connector-Elasticsearch实现EsSink 问题:添加权限控制,即x-pack相关实现。 解决: ES5.x中,与es交互的client是TransportClient。 以下为flink-connector-es5源码: @Override public TransportClient createClient(Map<String, String> clientConfig) { Setti原创 2022-03-27 16:23:00 · 3264 阅读 · 0 评论 -
2022规划
需要完成的事情: 重新学习数据结构与算法、操作系统、计算机网络、计算机组成原理 学习大数据知识 阅读《Flink设计与实现》,深入了解Flink 深入了解ES 学习JVM相关知识 读完20本书 了解金融反欺诈业务,了解常见场景,常见指标 目前进度: 3.27: 重新学习数据结构与算法、操作系统、计算机网络、计算机组成原理 -------0% 学习大数据知识 -------0% 阅读《Flink设计与实现》,深入了解Flink -------20% 深入了解ES 学习JVM相关知识原创 2022-03-27 15:54:09 · 2351 阅读 · 0 评论 -
定时任务quartz应用场景及问题解决
应用场景: 客户每隔一段时间执行一次flinkssql的批任务,具体有四个场景: 一次性:选择一个时间点上线任务。 间隔周期:选择一个时间点,选定一个间隔小时数和一个间隔分钟数,在时间点首次触发,之后每隔间隔小时和间隔分钟执行一次,例如在2021-08-13 12:00:00上线,之后每隔1h30m执行一次。 时间周期:选择一个上线日期,一个上线时间点,例如上线日期选择2021-8-13,时间点选择12:00,则在2021-08-13的12:00首次执行,如果当前时间已经超过12:00则在次日的12:00原创 2021-08-14 14:59:35 · 557 阅读 · 0 评论 -
开发esSink组件二阶段
二阶段新增功能: 实现基于事件时间的动态index 实现事件时间添加时间戳 实现权限控制 遇到的困难: 在完成事件时间index时,无法确定上游传下来的日期格式,所以不知道该如何格式化,后面经过讨论,决定由用户在前端表单中提交这种日期格式,然后我拿到这个日期格式去格式化数据中的时间字段,如果格式不符合则放弃写入,由脏数据日志收集。 在完成事件时间时间戳时,也是在时间格式上出了问题,es在解析数据时,有一个默认时间模板,如果数据中某个字段符合这个模板,那么这个字段就会被划定成date格式存入es,其他的原创 2021-04-09 14:46:36 · 102 阅读 · 0 评论 -
开发EsSink组件总结
开发前期: 学习es框架,根据自己需要的功能,重点研究某些模块。 学习flink框架,尤其是flink-connector应该怎么写,怎么自定义的sink和source 了解版本差异,了解flink-connector-es中对es和flink的版本要求 开发过程中: 开发过程还是很精彩的,从年前开始写了一个简单的demo,当时还仅仅是用es提供的Java api向es中写入数据,等年假回来,在强哥和战哥的的引导下开始使用flink-connector-es写了一个稍微高级一点的demo。再后来,要求把原创 2021-03-26 16:36:31 · 133 阅读 · 0 评论