Flink使用滚动窗进行JSON事件计数

本文介绍如何使用Flink进行JSON事件的滚动窗口计数,从Kafka接收JSON事件,通过自定义的AggregateFunction和WindowFunction进行5秒窗口的事件数量统计。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Flink使用滚动窗进行JSON事件计数

从Kafka接收Json事件进行反序列化,根据事件类型字符串进行5秒的滚动窗事件数目统计。

json事件反序列化请参见前面文章。

定义计数累积函数

定义AggregateFunction和WindowFunction

方法一 重载AggregateFunction的Add

    public static class MyCountAggregate implements AggregateFunction<SecEvent, Long, Long> {
   
        @Override
        public Long createAccumulator() {
   
            /*访问量初始化为0*/
            return 0L;
        }
        @Override
        public Long add(SecEvent value, Long accumulator) {
   
            /*访问量直接+1 即可*/
            return accumulator+1;
        }
        @Override
        public Long getResult(Long accumulator) {
   
            return accumulator;
        }
        /*合并两个统计量*/
        @Override
        public Long merge(Long a, Long b) {
   
            return a+b;
        }
    }
    
    public static class MyCountWindowFunction implements WindowFunction<Long,String,String, TimeWindow> {
   
        @Override
        public void apply(String eventType, TimeWindow window, Iterable<Long> input, Collector<String> out) throws Exception {
   
                /* 输出 */
                /*out.collect("productId"productId,window.getEnd(),input.iterator().next()));*/
                out.collect("----------------窗口时间:"+window.getEnd());
                out.collect("事件: " + eventType + " 数目: "+ input.iterator().next());
            <
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值