一些大数据的案例

案例主要关注三个问题：数据从哪里来？数据如何存储？数据如何计算？


来自《Hadoop权威指南》的案例


1. Last.fm
1.1 背景
    创建于2002年，提供网络电台和网络音乐服务的社交网络。每个月有2500万人使用Last.fm，产生大量数据。现在有了中文版http://cn.last.fm/，界面很不错！
    2006年初，Last.fm开始使用Hadoop，几个月后投入实际应用。Hadoop是Last.fm基础平台的关键组件，有2个Hadoop集群，50台计算机，300个内核，100TB的硬盘空间。在集群上，运行数百种各种日常作业，包括日志文件分析，A/B测试评测，即时处理和图表生成。


1.2 图表生成
    图表生成是Hadoop在Last.fm的第一个应用。


1.3 数据从哪里来
    Last.fm有两种收听信息：用户播放自己的音乐，如pc或者其他设备mp3，这种信息通过Last.fm的客户端或者第三方应用发送到Last.fm，这一类叫scrobble收藏数据；用户收听Last.fm网络电台的节目，以及听节目时候的喜爱，跳过，禁止等操作信息，这一类叫radio listen电台收听数据。


1.4 数据存储
    收听数据被发送到Last.fm，经历验证和转换，形成一系列有空格分隔的文本文件，包含用户id-userid，音乐id-trackid，这首音乐被收藏的次数s