基于Flink快速开发实时TopN程序最简单的思路

最新推荐文章于 2024-08-13 16:48:41 发布

weixin_49067219

最新推荐文章于 2024-08-13 16:48:41 发布

阅读量209

点赞数

文章标签： flink

本文链接：https://blog.csdn.net/weixin_49067219/article/details/110298217

版权

本文介绍了如何使用Flink快速开发实时TopN程序，包括全局TopN、分组TopN和嵌套TopN的实现。通过统计词频为例，展示了从数据源接入、单词计数到不同类型的TopN计算过程，特别强调了嵌套TopN在解决数据热点问题上的应用。

摘要由CSDN通过智能技术生成

TopN 是统计报表和大屏非常常见的功能，主要用来实时计算排行榜。流式的TopN可以使业务方在内存中按照某个统计指标（如出现次数）计算排名并快速出发出更新后的排行榜。

我们以统计词频为例展示一下如何快速开发一个计算TopN的flink程序。

Flink支持各种各样的流数据接口作为数据的数据源，本次demo我们采用内置的socketTextStream作为数据数据源。

StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.setStreamTimeCharacteristic(TimeCharacteristic.ProcessingTime); //以processtime作为时间语义
DataStream<String> text = env.socketTextStream(hostName, port); //监听指定socket端口作为输入

与离线wordcount类似，程序首先需要把输入的整句文字按照分隔符split成一个一个单词，然后按照单词为key实现累加。

DataStream<Tuple2<String, Integer>> ds = text
                .flatMap(new LineSplitter()); //将输入语句split成一个一个单词并初始化count值为1的Tuple2<String, Integer>类型
private static final class LineSplitter implements
            FlatMapFunction<String, Tuple2<String, Integer>> {

        @Override
        public void flatMap(String value, Collector<Tuple2<String, Integer>> out) {
            // normalize and split the line
            String[] tokens = value.toLowerCase().split("\\W+");

            // emit the pairs
            for (String token : tokens) {
                if (token.length() > 0) {
                    out.collect(new Tuple2<String, Integer>(token, 1));
                }