Last.fm歌曲榜单的MapReduce实现

本文通过实例介绍如何使用MapReduce处理Last.fm的歌曲数据,包括统计歌曲的不同听众人数和各种收听次数。Mapper处理输入数据,Reducer进行聚合计算,通过多个Job协同完成复杂统计任务。
摘要由CSDN通过智能技术生成

本篇文章将结合一个实例来看看Mapper/Reducer代码构建思路

 

Last.fm是一个音乐社区网站,需要根据用户的收听记录生成不同种类的歌曲榜单,用户数据主要有以下两个来源:

l   用户在自己设备上播放的音乐(称为scrobble)

l   用户在Last.fm网站的广播电台在线收听(radio),用户可以选择跳过(skip)

数据提交到Last.fm后,经过验证和转换,最后存储为一行空格分隔的文本,像以下的格式:

UserId

TrackId

Scrobble

Radio

Skip

15

22

0

1

0

13

25

1

0

0

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值