- 博客(7)
- 收藏
- 关注
RSS订阅原创 flink自定义watermark策略
通过查找信息发现，这种策略的水印发送需要依靠传入每个数据的事件时间，所以当没有下一个窗口的数据到来时，并不能发送水印让flink知道已经超时了。为了解决这个问题，查找官方文档发现，发现可以自定义一个forBoundedOutOfOrderness策略来解决。使用flink自带的策略 BoundedOutOfOrderness时，发现在使用事件时间窗口时，在下一个窗口的数据到来之前没有输出的情况。...
2022-08-17 10:26:28
363
1
原创 flink stream转table
首先在用tableEnv.fromstream时通过打印表结构发现，如果是自己定义的类作为datastream的数据类型，需要在该实体类中定义一个空参数的构造函数，才能让表以类中的属性作为列名。flink在网上的资料还是相对较少，同时在官方文档中的stream转table操作中好多都是过时不再用的方法。我测试了很久，摸索出一些点可总结如下。...
2022-08-16 10:08:45
778
原创 配置类bean的使用
一个client的配置类，里面同样用@value获取配置值。不同的是用@bean来声明一个返回值为influxdbclient的函数。用这种方法尴尬的是，@value的执行是在构造函数之后，所以无法在service类中初始化一个连接所需要的client。在之前写的连接influxdb的操作中，是用autowired自动装配service类，在service类中用@value来获取配置xml文件中连接influxdb所需要的参数。然后了解到一种更好的写法来进行替换。...
2022-08-14 13:51:50
297
原创 influxdb介绍
同时要注意influxdb在1.x版本都是用的sql语句，在2.0后采用javascript语句，之前不清楚情况在网上查到的都是sql语句却无法使用浪费了许多时间。time：2022/8/7 地区：四川 《假面前夜》：30万 《平凡的世界》200万。time：2022/8/7 地区：北京 《假面前夜》：10万 《平凡的世界》50万。如上所示，地区、北京分别时tags的键、值， 两本书及销量就是fields的键、值。3.用token的代码来作为java连接的一个配置内容。...
2022-08-07 12:20:09
294
原创 服务器提供sql服务流程
在项目中所涉及的后端提供数据库服务基本流程如图所示。数据传输对象（DTO）(Data Transfer Object)，是一种设计模式之间传输数据的软件应用系统。从数据库中检索数据。
2022-08-05 17:52:35
81
原创 flink实现窗口大小动态调整
经过在网上的搜索找到了一种可行的办法，那就是仿照官方代码去自定义一种WindowAssigner来以流量中的数据为参数来创建window。以此为依据，就可以现在流量中通过之前学过的广播流将输入流量与window大小输入流合并在一起，以此为输入，然后自定义的windowassigner就可以从输入中的window大小数据动态调整window大小。flink中的窗口的概念和计算机网络中流量窗口的形式类似。在现在这一流量安全监控的项目中，需要动态设置风险触发的频率，为此需要动态设置窗口的大小。...
2022-07-31 20:11:54
1346
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人