TreeCode的博客

ES学习系列核心场景：es5.x基于Flink-Connector-Elasticsearch实现EsSink问题：添加权限控制，即x-pack相关实现。解决：ES5.x中，与es交互的client是TransportClient。以下为flink-connector-es5源码： @Override public TransportClient createClient(Map<String, String> clientConfig) { Setti

需要完成的事情：重新学习数据结构与算法、操作系统、计算机网络、计算机组成原理学习大数据知识阅读《Flink设计与实现》，深入了解Flink深入了解ES学习JVM相关知识读完20本书了解金融反欺诈业务，了解常见场景，常见指标目前进度：3.27：重新学习数据结构与算法、操作系统、计算机网络、计算机组成原理 -------0%学习大数据知识 -------0%阅读《Flink设计与实现》，深入了解Flink -------20%深入了解ES学习JVM相关知识

应用场景：客户每隔一段时间执行一次flinkssql的批任务，具体有四个场景：一次性：选择一个时间点上线任务。间隔周期：选择一个时间点，选定一个间隔小时数和一个间隔分钟数，在时间点首次触发，之后每隔间隔小时和间隔分钟执行一次，例如在2021-08-13 12:00:00上线，之后每隔1h30m执行一次。时间周期：选择一个上线日期，一个上线时间点，例如上线日期选择2021-8-13，时间点选择12:00，则在2021-08-13的12:00首次执行，如果当前时间已经超过12:00则在次日的12:00

二阶段新增功能：实现基于事件时间的动态index实现事件时间添加时间戳实现权限控制遇到的困难：在完成事件时间index时，无法确定上游传下来的日期格式，所以不知道该如何格式化，后面经过讨论，决定由用户在前端表单中提交这种日期格式，然后我拿到这个日期格式去格式化数据中的时间字段，如果格式不符合则放弃写入，由脏数据日志收集。在完成事件时间时间戳时，也是在时间格式上出了问题，es在解析数据时，有一个默认时间模板，如果数据中某个字段符合这个模板，那么这个字段就会被划定成date格式存入es，其他的

开发前期：学习es框架，根据自己需要的功能，重点研究某些模块。学习flink框架，尤其是flink-connector应该怎么写，怎么自定义的sink和source了解版本差异，了解flink-connector-es中对es和flink的版本要求开发过程中：开发过程还是很精彩的，从年前开始写了一个简单的demo，当时还仅仅是用es提供的Java api向es中写入数据，等年假回来，在强哥和战哥的的引导下开始使用flink-connector-es写了一个稍微高级一点的demo。再后来，要求把