weixin_38251332的博客

分析问题从最后一行看问题：说明在standardTaskServiceImpl bean中注入的syyyAccountServiceImpl，导致循环依赖了。如下：解决问题可能的解决方案：重构代码以消除循环依赖:将某些依赖改为方法注入: 如果可能，使用方法注入而不是构造函数注入，这样可以延迟依赖的解决，直到bean实际需要它为止。引入一个中间层: 通过引入一个新的服务或者将某些功能拆分到不同的类中，以消除循环依赖。使用@Lazy注解:在一个或多个依赖的bean上加上@Lazy注解，这会

Flink端到端的精确一次语义是流处理中的关键概念，涉及状态一致性和结果正确性。这一特性涵盖了整个数据处理流程，包括数据源、流处理器和外部存储系统三个主要组件。Flink内部通过检查点机制实现精确一次语义，但要达到端到端的一致性，还需要考虑输入和输出端的保证：输出端：需要实现以下两种写入方式之一：a) 幂等写入：操作可重复执行，但只导致一次结果更改实现端到端精确一次语义虽然复杂，但对于要求高数据一致性的应用来说至关重要。

MySQL 中 EXPLAIN 语句的 select_type 列描述了查询的类型,不同的 select_type 类型在效率上会有所差异。当然,实际的效率还受到其他因素的影响,如表的大小、索引情况、查询条件等。因此在实际使用中,我们还需要通过 EXPLAIN 语句分析具体的查询计划,并根据结果进行针对性的优化。同时,也要注意查询的语义和可读性。有时为了提高效率,可能需要牺牲一些查询的可读性,这需要权衡取舍。

其中syyy_dest表的行数必须不能小于 '908,909’集合的数量。mysql 集合转多行。

Flink CDC 是基于Apache Flink的一种数据变更捕获技术，用于从数据源（如数据库）中捕获和处理数据的变更事件。CDC技术允许实时地捕获数据库中的增、删、改操作，将这些变更事件转化为流式数据，并能够对这些事件进行实时处理和分析。Flink CDC提供了与各种数据源集成的功能，包括常见的关系型数据库（如MySQL、PostgreSQL、Oracle等）以及NoSQL数据库（如MongoDB、HBase等）。

虽然jdk已经不推荐使用了(已经被更高效的排序方法所取代)，但不妨碍我们去学习研究，此乃归并排序的经典实用案例。将一个数组在给定的起始区间内进行排序，

基本思想：依次比较相邻的两个数，将小数放在前面，大数放在后面。由于在排序过程中(以升序为例)总是小数往前放，大数往后放，相当于气泡往上升，所以称作冒泡排序。主要通过两层循环来实现,是稳定的排序方法。

在Java中，List

FlinkSQL使用小技巧总结

FlinkSQL state 生命周期配置对于有状态计算的流连接和分组聚合操作，用户可以通过 STATE_TTL 来指定算子粒度的，该方式的状态配置优先级大于作业级别的状态优先级配置。

Timeplus是一个流处理器。它提供强大的端到端功能，利用开源流引擎Proton来帮助数据团队快速直观地处理流数据和历史数据，可供各种规模和行业的组织使用。它使数据工程师和平台工程师能够使用 SQL 释放流数据价值。Timeplus 控制台可以轻松连接到不同的数据源（例如 Apache Kafka、Confluence Cloud、Redpanda、NATS、Web Socket/SSE、CSV 文件上传等）、通过 SQL 查询探索流模式、发送实时见解和向其他系统或个人发出警报，并创建仪表板和可视化。

刚过了年刚开工，闲暇之余调研了分布式SQL流处理数据库-RisingWave，本人是Flink（包括FlinkSQL和Flink DataStream API）的资深用户，但接触到RisingWave令我眼前一亮，并且拿我们生产上的监控告警场景在RisingWave上做了验证，以下是自己的心得体会：RisingWave架构简单，运维成本底，基于云原生（可以分别基于计算和存储动态伸缩），同时在开发上屏蔽了Flink等实时处理框架底层需要处理的一些技术细节（状态存储，数据一致性，分布式集群扩展等）。

动态过滤器能够实时过滤数据流，并允许定义传入数据必须满足的条件才能进行处理。动态过滤器demo测试数据消费。时间过滤器允许根据特定时间（例如当前时间、特定日期或日期范围）过滤数据

RisingWave 提供与 PostgreSQL 兼容的标准SQL接口。用户可以像使用 PostgreSQL 一样处理数据流。屏蔽了实时处理底层需要遇到的一些技术细节（状态存储，数据一致性，分布式集群扩展等），供应用方快速的开发实时数据流，进行流式ETL。具有以下特性：同步的实时性（可以保证实时的新鲜度，doris等OLAP引擎采用异步实时）、强一致性（doris等OLAP引擎仅提供最终一致性）、高可用、高并发、流处理语义、资源隔离。可以应用在一些数据看版，监控，实时指标等场景。

只有基于 RocksDB state backend的状态快照才支持增量checkpoint，基于heap的并不支持默认情况下 checkpoint 是禁用的，需要手动开启：Flink状态分为Keyed State和非keyed State:Keyed State，可以使用RocksDB state backend和heap state backend。

RocksDB是Flink中用于持久化状态的默认后端，它提供了高性能和可靠的状态存储。然而，当处理大型状态并频繁读写时，可能会导致背压问题，因为RocksDB需要从磁盘读取和写入数据，而这可能成为瓶颈。

Flink 实时groupby聚合场景操作时，由于使用的是rocksdb状态后端，发现CPU的高负载卡在rocksdb的读写上，导致上游算子背压特别大。通过调优使用hashmap状态后端代替rocksdb状态后端，使吞吐量有了质的飞跃（20倍的性能提升），并分析整理。

最近需求，仅想提高sink2es的qps，所以仅调节了sink2es的并行度，但在调节不同算子并行度时遇到一些问题，找出问题的根本原因解决问题，并分析整理。

Java线程安全的日期格式处理工具类

KeyedProcessFunction是用来处理KeyedStream的。每有一个数据进入算子，则会触发一次processElement()的处理。它还提供了定时器的功能，在在预警、监控等场景特定场景下，非常适合。KeyedProcessFunction定时器包分为两种：基于事件时间、基于处理时间。下面以统计计数的方式展示这两种定时器的用法，并附上详细的分析思路。