- 博客(7)
- 收藏
- 关注
原创 flink自定义watermark策略
通过查找信息发现,这种策略的水印发送需要依靠传入每个数据的事件时间,所以当没有下一个窗口的数据到来时,并不能发送水印让flink知道已经超时了。为了解决这个问题,查找官方文档发现,发现可以自定义一个forBoundedOutOfOrderness策略来解决。使用flink自带的策略 BoundedOutOfOrderness时,发现在使用事件时间窗口时,在下一个窗口的数据到来之前没有输出的情况。...
2022-08-17 10:26:28
424
1
原创 flink stream转table
首先在用tableEnv.fromstream时通过打印表结构发现,如果是自己定义的类作为datastream的数据类型,需要在该实体类中定义一个空参数的构造函数,才能让表以类中的属性作为列名。flink在网上的资料还是相对较少,同时在官方文档中的stream转table操作中好多都是过时不再用的方法。我测试了很久,摸索出一些点可总结如下。...
2022-08-16 10:08:45
811
原创 配置类bean的使用
一个client的配置类,里面同样用@value获取配置值。不同的是用@bean来声明一个返回值为influxdbclient的函数。用这种方法尴尬的是,@value的执行是在构造函数之后,所以无法在service类中初始化一个连接所需要的client。在之前写的连接influxdb的操作中,是用autowired自动装配service类,在service类中用@value来获取配置xml文件中连接influxdb所需要的参数。然后了解到一种更好的写法来进行替换。...
2022-08-14 13:51:50
330
原创 influxdb介绍
同时要注意influxdb在1.x版本都是用的sql语句,在2.0后采用javascript语句,之前不清楚情况在网上查到的都是sql语句却无法使用浪费了许多时间。time:2022/8/7 地区:四川 《假面前夜》:30万 《平凡的世界》200万。time:2022/8/7 地区:北京 《假面前夜》:10万 《平凡的世界》50万。如上所示,地区、北京分别时tags的键、值, 两本书及销量就是fields的键、值。3.用token的代码来作为java连接的一个配置内容。...
2022-08-07 12:20:09
330
原创 服务器提供sql服务流程
在项目中所涉及的后端提供数据库服务基本流程如图所示。数据传输对象(DTO)(Data Transfer Object),是一种设计模式之间传输数据的软件应用系统。从数据库中检索数据。
2022-08-05 17:52:35
91
原创 flink实现窗口大小动态调整
经过在网上的搜索找到了一种可行的办法,那就是仿照官方代码去自定义一种WindowAssigner来以流量中的数据为参数来创建window。以此为依据,就可以现在流量中通过之前学过的广播流将输入流量与window大小输入流合并在一起,以此为输入,然后自定义的windowassigner就可以从输入中的window大小数据动态调整window大小。flink中的窗口的概念和计算机网络中流量窗口的形式类似。在现在这一流量安全监控的项目中,需要动态设置风险触发的频率,为此需要动态设置窗口的大小。...
2022-07-31 20:11:54
1458
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人