本文探讨了如何在Flink流处理框架中实现动态窗口大小调整，以应对流量安全监控项目中对风险触发频率的动态控制需求。由于Flink API未直接提供动态窗口调整功能，作者提出了一种解决方案，即自定义WindowAssigner，结合广播流将输入流量和窗口大小数据合并，使得窗口大小可以根据流量数据动态变化。这一方法为实时数据处理提供了更大的灵活性。
flink作为一个流处理框架，可以很方便的实现对无界限的数据的各种处理。而要实现对一定界限内数据的统计计算，就需要窗口这一个重要概念。flink中的窗口的概念和计算机网络中流量窗口的形式类似。在现在这一流量安全监控的项目中，需要动态设置风险触发的频率，为此需要动态设置窗口的大小。但flink的窗口API并没有动态调整窗口大小的方式。
经过在网上的搜索找到了一种可行的办法，那就是仿照官方代码去自定义一种WindowAssigner来以流量中的数据为参数来创建window。以此为依据，就可以现在流量中通过之前学过的广播流将输入流量与window大小输入流合并在一起，以此为输入，然后自定义的windowassigner就可以从输入中的window大小数据动态调整window大小。
扫一扫
1340
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
