头歌:计算排行榜并实时输出 要求每 30 秒计算之前 2 分钟的时间窗口数据, 对其中的浏览商品行为(即行为类型为 pv)进行浏览次数的计算,并输出浏览次数排名前 3 的商品结果。对于实时数据,我们之前进行了基本的计算,但是我们还要用 Flink 的方式来实时获得数据和实时输出数据,以及用 Flink 的方式来计算实时数据。为了完成本关任务,你需要掌握:如何计算排行榜并实时输出。根据提示,在右侧编辑器补充代码,计算排行榜并实时输出,
头歌:设置时间窗口并进行计算 滚动窗口会将数据按固定时间段分为各个时间窗口,比如固定时间段为10分钟,那一小时的数据就会被分为6个时间窗口,每个时间窗口10分钟。要求对其中的数据按每 20 分钟为一个时间窗口,对其中的浏览商品行为(即行为类型为 pv)进行时间戳最大值的计算,并输出结果,滑动窗口会每隔一段时间,计算之前某个时间段的数据,比如每隔3分钟,计算之前一个小时的数据。Flink 对数据的时间计算一般要设置时间窗口,然后对时间窗口中的数据进行计算。根据提示,在右侧编辑器补充代码,设置时间窗口并进行计算,输出结果,
头歌:对数据进行过滤和分流 Flink 操作流数据,一般都要进行过滤和分流,过滤使用 filter 算子,分流使用 keyBy 算子, filter 算子加上条件就可以进行过滤,如:filter (行为字段 == "cart"),就可以过滤出放入购物车的记录, keyBy 算子可以对数据进行分流,一般是对 id 等主键进行分流,如 keyBy(商品 Id),就是按商品 Id 进行分流,相同商品 Id 的放在一起,分流的数据会在之后按时间窗口计算时使用到。为了完成本关任务,你需要掌握:如何用 Flink 对数据进行过滤和分流。