- 博客(5)
- 收藏
- 关注
RSS订阅原创 Spark算子综合案例 - JAVA篇 第2关：Friend Recommendation - 好友推荐
平台会对你的命令进行检验并运行，你只需要按照任务需求，补充右侧编辑器的代码，然后点击评测就。请仔细阅读右侧代码，根据方法内的提示，在。知识完成 " 好友推荐 " 的程序。数据说明（第二行为例）： 这个人叫。在间接好友关系中出现的次数为。完成统计间接好友的数量。属于同一数据，请使用。
2024-06-25 16:25:58
413
1
原创 头歌 计算排行榜并实时输出 第1关：计算排行榜并实时输出
要求每 30 秒计算之前 2 分钟的时间窗口数据， 对其中的浏览商品行为（即行为类型为 pv）进行浏览次数的计算，并输出浏览次数排名前 3 的商品结果。对于实时数据，我们之前进行了基本的计算，但是我们还要用 Flink 的方式来实时获得数据和实时输出数据，以及用 Flink 的方式来计算实时数据。为了完成本关任务，你需要掌握：如何计算排行榜并实时输出。根据提示，在右侧编辑器补充代码，计算排行榜并实时输出，本关任务：编写一个能计算排行榜并实时输出的小程序。测试输入：电商数据日志文件；
2024-06-25 15:03:39
439
原创 头歌 设置时间窗口并进行计算 第1关：设置时间窗口并进行计算
滚动窗口会将数据按固定时间段分为各个时间窗口，比如固定时间段为10分钟，那一小时的数据就会被分为6个时间窗口，每个时间窗口10分钟。要对其中的数据按每 10 分钟为一个时间窗口，对其中的放入购物车行为（即行为类型为 cart）进行时间戳最小值的计算，并输出结果，要求对其中的数据按每 20 分钟为一个时间窗口，对其中的浏览商品行为（即行为类型为 pv）进行时间戳最大值的计算，并输出结果，Flink 对数据的时间计算一般要设置时间窗口，然后对时间窗口中的数据进行计算。常见的时间窗口分为滚动窗口和滑动窗口。
2024-06-25 14:56:13
632
原创 头歌-对数据进行过滤和分流-第1关：用 Flink 对数据进行过滤和分流
Flink 操作流数据，一般都要进行过滤和分流，过滤使用 filter 算子，分流使用 keyBy 算子， filter 算子加上条件就可以进行过滤，如：filter (行为字段 == "cart")，就可以过滤出放入购物车的记录， keyBy 算子可以对数据进行分流，一般是对 id 等主键进行分流，如 keyBy（商品 Id），就是按商品 Id 进行分流，相同商品 Id 的放在一起，分流的数据会在之后按时间窗口计算时使用到。为了完成本关任务，你需要掌握：如何用 Flink 对数据进行过滤和分流。
2024-06-25 14:31:01
714
原创 头歌-设置时间窗口并进行计算-第1关：设置时间窗口并进行计算
解释如下： 543462（用户id）,1715（商品id）,1464116（商品类目id）,pv（行为类型）,1511658000（时间戳），为了完成本关任务，你需要掌握：如何用 Flink 获得数据并输出。本关任务：编写一个能用 Flink 获得数据并输出的小程序。测试输入：电商数据日志文件；数据解析参考之前的“解析数据源”注意，这个时间戳的单位是秒。先来看看数据的内容和格式，
2024-06-25 14:29:26
226
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人