- 博客(12)
- 收藏
- 关注
RSS订阅转载 ThreadPoolTaskExecutor和ThreadPoolExecutor
注意：关系3是针对的有界队列，无界队列永远都不会满，所以只有前2种关系。
2024-09-06 17:30:17
301
转载 flinkCdc的mysql配置及java测试代码
日志的范围,在数据库范围可以使用mysql的binlog-do-db和binlog-ignore-db,表级别可以使用replicate_wild_do_table, 不过不建议配置,因为在一些特殊情况下有可能造成同步的数据不完整,参考。如果不配置binlog-do-db相当于所有的库都可以同步， 一旦配置了binlog-do-db则除了配置了binlog-do-db的库能同步binlog日志，其他的库都不能同步了。要在mysql.cnf中配置开启开启mysql的bin-log日志,/*# 事件查询命令。
2024-07-22 19:50:34
198
转载 SQL中的窗口函数OVER窗口函数
SQL/OR与聚集函数一样，也针对定义的行集（组）执行聚集，但它不像聚集函数那样每组之返回一个值，窗口函数可以为每组返回多个值。实际上，DB2中称这种函数为联机分析处理OLAP函数，而Oracle把它们称为解析函数，但ISO SQL标准把它们称为窗口函数。窗口函数一般在OLAP分析、制作报表过程中会使用到。窗口函数：聚合函数 over()聚合函数 over(partition by 字段）—分区聚合函数 over(order by 字段)--框架字句。
2024-07-22 19:44:28
44
转载 Exception in thread “main“ java.lang.AbstractMethodError: org.apache.flink.client.deployment.executo
百度一下，原因是：pom.xml中导入了client依赖。
2024-01-11 15:08:15
143
1
转载 flink从1.10.0升级到1.12遇到的问题
周期性的调用onPeriodicEmit()方法，如果新的watermark不为null，并且大于之前的watermark，则发出。新的接口支持watermark空闲，并且不再区别periodic和punctuated。从flink 1.12.0开始默认的时间语义为event-time。如果不存在乱序的情况，即event的时间戳是单调递增的，则。因为该方法中用到的watermark生成器接口也被标记为。所以需要增加flink-clients的依赖。官网建议使用参数设置的方法，提高代码灵活性。
2024-01-11 15:07:14
103
转载 Flink报错java.lang.IllegalStateException: No ExecutorFactory found to execute the application
-Flink 版本-->缺少 flink-client jar。
2024-01-11 15:06:16
199
转载 Flink中窗口的触发器、移除器、侧输出流
在日常业务场景中，我们经常会开比较大的窗口来计算每个窗口的。我们自然会想到，即使可以设置窗口的延迟时间，终归还是有限的，后续的数据还是会被。对于一个窗口算子而言，窗口分配器和窗口函数是必不可少的。结束时间，那么就会触发计算输出结果，然后关闭窗口——似乎这两个操作应该是同时发生的；当窗口被清除（关闭）之后，再来的数据就会被丢弃。一般我们会认为，到了窗口的。间时，窗口会触发计算并输出结果，这时一般也就要销毁窗口了；如果要赶的车已经开走了，又不能坐其他的车（保证分配窗口的正确性），那就只好放弃坐班。
2024-01-10 19:04:36
216
转载 Java版Flink（十）window窗口（二）
由于该案例涉及到 EventTime（日志产生时间）、ingestTime（数据进入程序时间）、processTime（数据处理时间）的关系和 watermark（水位线）的概念描述，该案例放到下面具体介绍。迟到数据：这些数据根据 EventTime已经分配好了所在窗口执行，但是所在窗口已经执行计算了，并且这些数据不会被当前窗口所收集和计算。(此时控制台已经答应 （flink，3）)(此时控制台已经答应 （flink，3）)控制台打印：（hello，3）控制台打印：（world，3）
2024-01-10 19:02:13
75
转载 【flink番外篇】5、flink的window(介绍、分类、函数及Tumbling、Sliding、session窗口应用)介绍及示例 - 完整版
Windows是处理无限流的核心。Windows将流划分为有限大小的“buckets”，我们可以在其上进行计算。窗口Flink程序的一般结构如下所示。第一个片段指的是键控流，而第二个片段指非键控流。可以看出，唯一的区别是对键控流的keyBy(…)调用和对非键控流变为windowAll(…)的window(…)。这也将作为页面其余部分的路线图。流计算中一般在对流数据进行操作之前都会先进行开窗，即基于一个什么样的窗口上做这个计算。
2024-01-10 10:26:16
604
转载 Druid出现DruidDataSource - recyle error - recyle error java.lang.InterruptedException: null异常排查与解决
线上的代码之前运行的都很平稳，突然就出现了一个很奇怪的问题，看错误信息是第三方框架Druid报出来了，连接池回收连接时出现的问题。看了一下也没有发现所以然，然后去GitHub上的Druid官方开源处，看了一下历史问题修复，发现这个是旧版本已知的一个Bug。看了一下当前使用的Druid的版本【1.0.11】，然后又确认了一下官方最新的版本是【1.1.9】，已经差了很多个版本了。更新到最新版本后，上述问题得到解决。翻看之前出错的那里的代码发现。果断将版本更新至最新。
2024-01-09 15:08:51
418
转载 Flink CEP
一、基本概念 1. CEP 是什么 所谓CEP，其实就是“复杂事件处理（Complex Event Processing）”的缩写；而 Flink CEP，就是 Flink 实现的一个用于复杂事件处理的库（library）。 那到底什么是“复杂事件处理”呢？就是可以在事件流里，检测到特定的事件组合并进行处理，比如说“连续登
2024-01-09 09:53:22
74
转载 Flink的常用算子以及实例（详解）(赞)
map的使用范围就是需要对的那个数据进行处理，并且每次返回一个数据的时候，map就比较方便了。在实际生产中，不可能让我们完成这么简单的操作就行了，所以我们需要更复杂的操作，而reduce就是满足这个条件，它可以让我们自定义聚合的方式。我们来看看reduce的源码reduce需要传入的是一个ReduceFunction的对象，我们再来看看ReduceFunction是个什么东西var1是当前这个分组的状态，var2是新加入的值，而reduce函数体就是我们要进行的操作，返回一个新的状态。
2024-01-04 08:52:10
1015
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人