Flink实时计算topN热榜

最新推荐文章于 2023-12-17 14:58:31 发布
最新推荐文章于 2023-12-17 14:58:31 发布
阅读量1.8k 收藏 7
点赞数
分类专栏： 大数据 # Flink 文章标签： 大数据 flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ddxygq/article/details/114993761
版权
大数据 同时被 2 个专栏收录
38 篇文章 13 订阅 ¥29.90 ¥99.00
订阅专栏
Flink
16 篇文章 2 订阅 ¥29.90 ¥99.00
订阅专栏 超级会员免费看
本文介绍了如何使用Flink从Kafka数据源获取用户访问日志，基于EventTime处理并设置Watermark，利用滑动窗口进行TopN活跃用户计算。详细讲述了创建Flink环境、设置窗口统计、实现TopN功能以及结果输出的过程。
摘要由CSDN通过智能技术生成

关注公众号：大数据技术派，回复资料，领取1024G资料。

TopN的常见应用场景，最热商品购买量，最高人气作者的阅读量等等。

1. 用到的知识点

  • Flink创建kafka数据源；
  • 基于 EventTime 处理，如何指定 Watermark；
  • Flink中的Window，滚动（tumbling）窗口与滑动（sliding）窗口；
  • State状态的使用；
  • ProcessFunction 实现 TopN 功能；

2. 案例介绍

通过用户访问日志，计算最近一段时间平台最活跃的几位用户topN。

  • 创建kafka生产者，发送测试数据到kafka；
  • 消费kafka数据，使用滑动（sliding）窗口，每隔一段时间更新一次排名；

3. 数据源

这里使用kafka api发送测试数据到kafka，代码如下：


                

                
                
        

        

        

    

  


        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
            

        

    

      

        

            

              
                
                  大数据技术派
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          

                

                        订阅专栏
                









                



	

		

			

				
					
Flink根据配置实时计算热门商品TopN

				
			

			

				

					huzechen的博客
				

				

					10-15
					
					1056
					
				

			

		

		

			
				
通过本文你将学到：

1.如何通过Broadcast广播的形式，关联配置文件2如何使用 Flink 灵活的 Window API3.何时需要用到 State，以及如何使用4.如何使用 ProcessFunction 实现 TopN 功能

业务场景

实时根据运营人员前端配置的商品id，监控商品id在黄金广告位最近一小时销量的销量情况，发现销量差的商品id及时下线调整，发现销量好的...

			
		

	



                

            
              



	

		

			

				
					
【Flink实战系列】Flink 实时计算热门商品 TopN

				
			

			

				

					JasonLee实时计算
				

				

					12-27
					
					2055
					
				

			

		

		

			
				
1,需求

每隔5分钟输出最近一小时内点击量最多的前N个商品 这是一个很常见的需求,其实跟实时的pv,uv差不多,可能会比pv,uv复杂一点,由于Flink窗口功能的强大,也让这个需求变的相对简单了,当然用Flink SQL也可以实现.

2,实现步骤

抽取出业务时间戳，告诉Flink框架基于事件时间做滑动窗口
	过滤出点击行为数据
	按一小时的窗口大小，每5分钟统计一次，做滑动窗口聚合（Sli...

			
		

	



              


  
              

                


	

		

			

				
					
Flink 应用案例——求网页访问量Top N 实时计算（附可执行代码）

				
			

			

				

					m0_55685698的博客
				

				

					03-17
					
					1763
					
				

			

		

		

			
				
以下数据 为某网站的访问日志 现要求通过以下数据 统计出最近10s内最热门的N个页面（即url链接），并且每5s更新一次；即求出页面访问量中的TOP N

			
		

	





	

		

			

				
					
Flink 计算 TopN

				
			

			

				

					shengjk1的博客
				

				

					12-28
					
					1741
					
				

			

		

		

			
				
前言
使用 flink 很长一段时间了，突然发现竟然没有计算过 topN，这可是 flink 常见的计算场景了， 故自己想了一个场景来计算一下。
基于 Flink 1.12
场景
外卖员听单的信息会发到单独一个 topic 中，计算一个每天有多少个 外卖员听单以及总共的听单次数。
kafka 中消息类型
{"locTime":"2020-12-28 12:32:23","courierId":12,"other":"aaa"}

locTime：事件发生的时间，courierId 外卖员id
计算一天中 听

			
		

	



		

			
		



	

		

			

				
					
Flink 实时统计热门商品的TopN

				
			

			

				

					yang灬仔
				

				

					06-14
					
					1879
					
				

			

		

		

			
				
文章目录

一、需求说明

1、以案例驱动理解

二、技术点

三、代码实现（一）

1、调用底层的Process（可做类似map的操作），将Json字符串解析成MyBehavior对象

2、提取EventTime,转换成Timestamp格式,生成WaterMark

3、按照指定事件分组

4、把分好组的数据，划分窗口：假设窗口总长10分钟， 步长1分钟滑动一次

5、窗口内的数据进...

			
		

	





	

		

			

				
					
flink求topN

				
			

			

				

					csdnfan_的博客
				

				

					05-31
					
					230
					
				

			

		

		

			
				
topN

			
		

	





	

		

			

				
					
FLINK 基于1.15.2的Java开发-实时流计算商品销售热榜

				
			

			

				

					lifetragedy的专栏
				

				

					10-02
					
					1258
					
				

			

		

		

			
				
以下这个例子是全网段找不到的，连书上都不写的，它是一个基于flink1.15.2实时计算热卖商品销量排行榜的例子，它接近于生产级应用。后续会扩展成“生产级应用”的代码还缺了哪些关键技术点需要打通。

			
		

	





	

		

			

				
					
Flink之实时统计指定时间段内热门商品的TopN（双11一小时内的热门品牌排行榜）

				
			

			

				

					IT_但丁的博客
				

				

					03-14
					
					4793
					
				

			

		

		

			
				
文章目录一、需求说明1、以案例驱动理解二、技术点三、代码实现（一） 比较捞1、调用底层的Process（可做类似map的操作），将Json字符串解析成MyBehavior对象2、提取EventTime,转换成Timestamp格式,生成WaterMark3、按照指定时间分组4、把分好组的数据，划分窗口：假设窗口总长10分钟， 步长1分钟滑动一次5、窗口内的数据进行聚合，拿出窗口Star时间和窗口E...

			
		

	





	

		

			

				
					
flinksql flinktable TopN 或者 去重

				
			

			

				

					yy的博客
				

				

					12-29
					
					705
					
				

			

		

		

			
				
目的

实现flink sql 去重或者求TopN.其实去重就是求Top1

TopN官方文档(去重在同一页面)

代码


package UserBehiverAnalysis

import org.apache.flink.streaming.api.TimeCharacteristic
import org.apache.flink.table.api._
import org.apache.flink.table.api.bridge.scala._
import org.apache.f...

			
		

	





	

		

			

				
					
基于Flink快速开发实时TopN

				
			

			

				

					微信搜：import_bigdata，大数据领域硬核原创作者
				

				

					12-10
					
					901
					
				

			

		

		

			
				
大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！By大数据技术与架构场景描述：TopN 是统计报表和大屏非常常见的功能，主要用来实时计算排行...

			
		

	





	

		

			

				
					
flink案例之求TopN

				
			

			

				

					cclovezbf的博客
				

				

					09-27
					
					1407
					
				

			

		

		

			
				
因为这个 充分发挥了并行的优势，同时数据来一条处理一条。//这里处理一个窗口内的所有数据可以拿到topN。这里有个问题是同时计算所有每个url的访问量还是分别计算每个url的访问量        同时计算。.aggregate() //这里的只是窗口内来一条数据计算一下每个url的count，并没有排序。.keyBy(data -> true)//这里是划分到一个并行度了。这三种 第一种看起来是最复杂的两个keyBy，但是目前是最推荐第一种的。需求：每隔2s 求之前10s内的url的访问量topN。

			
		

	





	

		

			

				
					
Flink对美国疫情数据的实时统计topN（Scala）

				
			

			

				

					weixin_45975048的博客
				

				

					08-05
					
					784
					
				

			

		

		

			
				
通过Python爬虫爬取数据后，并作为生产者上传kafka；Flink消费kafka数据，并做topN统计

			
		

	





	

		

			

				
					
Flink 实现TopN计算

				
			

			

				

					qq_35489770的博客
				

				

					12-12
					
					710
					
				

			

		

		

			
				
【代码】Flink 实现TopN计算。

			
		

	





	

		

			

				
					
Flink项目1.1- 实时页面统计-热门页面topN

				
			

			

				

					xuehuagongzi000的博客
				

				

					10-17
					
					488
					
				

			

		

		

			
				
1、需求



2、正常情况下不考虑乱序的时候（没有窗口延迟关闭1min和延迟数据的侧输出流）

event时间窗口滑动窗口10min，滚动5s输出

 [10:15:45-10:25:50), [10:15:50-10:25:55), [10:15:55-10:25:60)

watermark:延时1s

定时器：windowEnd+1s（但是定时器的加1s输出需要依赖watermark的更新，所以在watermark+2s才会触发）

aggDataStream需要窗口触发才会输出



输入的原..

			
		

	





	

		

			

				
					
Flink计算最热门TopN商品

				
			

			

				

					小东升职记
				

				

					11-12
					
					1315
					
				

			

		

		

			
				
为了统计每个窗口下最热门的商品，我们需要再次按窗口进行分组，这里根据ItemViewCount中的windowEnd进行keyBy()操作。然后使用ProcessFunction实现一个自定义的TopN函数TopNHotItems来计算点击量排名前3名的商品，并将排名结果格式化成字符串，便于后续输出。

.keyBy("windowEnd")

.process(newTopNHotIt...

			
		

	





	

		

			

				
					
Flink系列之：Top-N

					
最新发布

				
			

			

				

					zhengzaifeidelushang的博客
				

				

					12-17
					
					516
					
				

			

		

		

			
				
Top-N 查询是结果更新的. Flink SQL会根据ORDER BY的字段对输入的数据流进行排序，所以如果前 N 条记录发生了变化，那么变化后的记录将作为回撤/更新记录发送到下游。此外，如果 Top-N 条记录需要存储在外部存储中，结果表应该与Top-N查询的唯一键保持一致。Top-N 查询也可以获取上游的唯一键。用下面的 job 举例:比如 product_id 是 ShopSales 的唯一键，这时 Top-N 查询的唯一键是[category, rownum] 和 [product_id]。

			
		

	





	

		

			

				
					
Flink应用案例统计实现TopN的两种方式

				
			

			

				

					Maynor的博客 
				

				

					06-28
					
					1648
					
				

			

		

		

			
				
窗口的计算处理，在实际应用中非常常见。对于一些比较复杂的需求，如果增量聚合函数无法满足，我们就需要考虑使用窗口处理函数这样的“大招”了。
网站中一个非常经典的例子，就是实时统计一段时间内的热门 url。...

			
		

	





	

		

			

				
					
Flink使用二次聚合实现TopN计算

				
			

			

				

					Rango_lhl的博客
				

				

					05-24
					
					837
					
				

			

		

		

			
				
一、背景说明：
有需求需要对数据进行统计，要求每隔5分钟输出最近1小时内点击量最多的前N个商品，数据格式预览如下：
543462,1715,1464116,pv,1511658000
662867,2244074,1575622,pv,1511658000
561558,3611281,965809,pv,1511658000
894923,3076029,1879194,pv,1511658000
834377,4541270,3738615,pv,1511658000
315321,942195,433

			
		

	





	

		

			

				
					
flink求topn

				
			

			

				

					11-16
				

			

		

		

			
				
Flink可以使用ProcessFunction实现TopN操作。下面是一个示例代码，用于计算点击量排名前3名的用户：
```java
DataStream<UserBehavior> userBehaviorStream = ...;

DataStream<UserViewCount> windowedData = userBehaviorStream
    .filter(new FilterFunction<UserBehavior>() {
        @Override
        public boolean filter(UserBehavior userBehavior) throws Exception {
            return userBehavior.getBehavior().equals("pv");
        }
    })
    .keyBy(new KeySelector<UserBehavior, Long>() {
        @Override
        public Long getKey(UserBehavior userBehavior) throws Exception {
            return userBehavior.getItemId();
        }
    })
    .timeWindow(Time.hours(1), Time.minutes(5))
    .aggregate(new CountAgg(), new WindowResultFunction());

DataStream<String> topItems = windowedData
    .keyBy("windowEnd")
    .process(new TopNHotUsers(3))
    .map(new MapFunction<Tuple2<Long, String>, String>() {
        @Override
        public String map(Tuple2<Long, String> value) throws Exception {
            return "窗口结束时间: " + new Timestamp(value.f0) + "\n" + value.f1;
        }
    });

topItems.print();
```
其中，TopNHotUsers是一个自定义的ProcessFunction，用于计算排名前N的用户。具体实现可以参考以下代码：
```java
public class TopNHotUsers extends KeyedProcessFunction<Long, UserViewCount, Tuple2<Long, String>> {
    private final int topSize;

    public TopNHotUsers(int topSize) {
        this.topSize = topSize;
    }

    private ListState<UserViewCount> itemState;

    @Override
    public void open(Configuration parameters) throws Exception {
        super.open(parameters);
        ListStateDescriptor<UserViewCount> itemsStateDesc = new ListStateDescriptor<>("itemState-state", UserViewCount.class);
        itemState = getRuntimeContext().getListState(itemsStateDesc);
    }

    @Override
    public void processElement(UserViewCount userViewCount, Context context, Collector<Tuple2<Long, String>> collector) throws Exception {
        itemState.add(userViewCount);
        context.timerService().registerEventTimeTimer(userViewCount.getWindowEnd() + 1);
    }

    @Override
    public void onTimer(long timestamp, OnTimerContext ctx, Collector<Tuple2<Long, String>> out) throws Exception {
        List<UserViewCount> allItems = new ArrayList<>();
        for (UserViewCount item : itemState.get()) {
            allItems.add(item);
        }
        itemState.clear();
        allItems.sort(new Comparator<UserViewCount>() {
            @Override
            public int compare(UserViewCount o1, UserViewCount o2) {
                return (int) (o2.getViewCount() - o1.getViewCount());
            }
        });
        StringBuilder result = new StringBuilder();
        result.append("====================================\n");
        result.append("时间: ").append(new Timestamp(timestamp - 1)).append("\n");
        for (int i = 0; i < Math.min(topSize, allItems.size()); i++) {
            UserViewCount currentItem = allItems.get(i);
            result.append("No").append(i + 1).append(":")
                    .append("  商品ID=").append(currentItem.getItemId())
                    .append("  浏览量=").append(currentItem.getViewCount())
                    .append("\n");
        }
        result.append("====================================\n\n");
        out.collect(Tuple2.of(timestamp - 1, result.toString()));
    }
}
```


			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 1

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
大数据技术派

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值