零基础学Flink：实时热销榜Top5（案例）

joinedTimedStream.keyBy(new KeySelector<Tuple9<Long,String,Integer,String,Integer,Long,String,Integer,Integer>,String>(){

@Override

public String getKey(Tuple9<Long,String,Integer,String,Integer,Long,String,Integer,Integer> value) throws Exception {

return value.f1+value.f2;

}

}).timeWindow(Time.seconds(30), Time.seconds(10))

.aggregate(new SumAgg(), new WindowResultFunction());

这里我们再次引用这张图，来加深一下理解，stream是如何转换的。

在这里，我们同时需要对数据进行聚合，这里我们不以订单计数来衡量热销商品，而是使用最终价格的聚合值来进行衡量。

接下来我们需要定义如何进行聚合计算，这里只做了简单聚合

public static class SumAgg implements AggregateFunction<Tuple9<Long,String,Integer,String,Integer,Long,String,Integer,Integer>, Long, Long> {

@Override

public Long createAccumulator() {

return 0L;

}

@Override

public Long add(Tuple9<Long,String,Integer,String,Integer,Long,String,Integer,Integer> value, Long acc) {

return acc + value.f8;

}

@Override

public Long getResult(Long acc) {

return acc;

}

@Override

public Long merge(Long acc1, Long acc2) {

return acc1 + acc2;

}

}

然后是定义输出窗口结果

/** 用于输出窗口的结果 */

//IN, OUT, KEY, W extends Window

public static class WindowResultFunction implements WindowFunction<Long, OrderView, String, TimeWindow> {

@Override

public void apply(

String key, // 窗口的主键

TimeWindow window, // 窗口

Iterable aggregateResult, // 聚合函数的结果

Collector collector // 输出类型为 OrderView

) throws Exception {

Long count = aggregateResult.iterator().next();

collector.collect(OrderView.of(key, window.getEnd(), count));

}

}

public static class OrderView {

public String itemId; // 商品ID

public long windowEnd; // 窗口结束时间戳

public long allsum; // 商品的点击量

public static OrderView of(String itemId, long windowEnd, long allsum) {

OrderView result = new OrderView();

result.itemId = itemId;

result.windowEnd = windowEnd;

result.allsum = allsum;

return result;

}

@Override

public String toString() {

return “OrderView{” +

“itemId='” + itemId + ‘\’’ +

“, windowEnd=” + windowEnd +

“, viewCount=” + allsum +

‘}’;

}

}

经过上述的步骤，我们得到了一个经过聚合的时间窗口数据，接下来只需取再按时间分组并取到前五的数据就大功告成了。使用 ProcessFunction 实现一个自定义的 TopN 函数 TopNHot 来计算排名前5的商品，并将排名结果格式化成字符串，便于后续输出。

DataStream topNHots = windowedData

.keyBy(“windowEnd”)

.process(new TopNHot(5));

ProcessFunction 是 Flink 提供的一个 low-level API，用于实现更高级的功能。它主要提供了定时器 timer 的功能（支持EventTime或ProcessingTime）。本案例中我们将利用 timer 来判断何时收齐了某个 window 下所有商品的点击量数据。由于 Watermark 的进度是全局的，在 <