寻找海量数据集用于大数据开发实战(维基百科网站统计数据)

版权声明:欢迎转载,请注明出处,谢谢。 https://blog.csdn.net/boling_cavalry/article/details/86894540

在学习spark的过程中,除了经典的WrodCount例子(用于统计文本文件中的单词出现次数),我们也在寻找其他海量数据来做更多实战以提高自己,今天介绍的是一个海量数据集的下载方法,以及数据内容的简介;

关于维基百科网站统计数据

数据的下载页面地址:https://dumps.wikimedia.org/other/pagecounts-raw

  1. 今天要下载的数据集就是维基百科的统计数据,如下图,有多个文件下载的连接,每个文件代表一个小时内所有wiki页面被点击的次数,红框中的文件名分为三部分,"20160801"代表统计的年月日,"030000"代表统计的是凌晨3点整到3点59分之间的页面访问情况:
    在这里插入图片描述
  2. 这个网站有2007年到2016年之间的统计数据,如下图,下载地址是:https://dumps.wikimedia.org/other/pagecounts-raw
    在这里插入图片描述

使用迅雷的批量下载功能

这么多数据一个一个下载会很麻烦,可以通过迅雷的批量下载功能来减少工作量;

  1. 如下图,在一个下载文件上点击鼠标右键,选择"复制链接地址",即可取到此文件的下载地址:
    在这里插入图片描述
  2. 上述文件的下载地址为"https://dumps.wikimedia.org/other/pagecounts-raw/2016/2016-08/pagecounts-20160801-000000.gz",根据这个我们能推测出20160801这一天其他23个小时的统计文件的地址,只要把"00000"改成"01000"、"02000",找到了规律就可以用迅雷来做批量下载了;
  3. 打开迅雷软件,如下图操作,点击红框1中的加号,在弹出的窗口点击红框2中的"添加批量任务":
    在这里插入图片描述
  4. 如下图,在弹出的窗口中,将前面的url粘贴进去,然后将红框1中的两个"0"改成"(*)",再把红框2中的数字改为23,然后点击下面的"确定"按钮:
    在这里插入图片描述
  5. 如下图,在弹出的窗口中,勾选红框中的"合并为任务组",然后点击下面的"立即下载"按钮,即可开始下载:
    在这里插入图片描述
  6. 这样就把2016年8月1日的所有统计数据下载下来了,其他日期的数据也可以用此方法批量下载;

数据格式简介

  1. 经过漫长等待终于将数据下载下来了,打开看看里面内容,如下所示:
aa.b User_talk:Sevela.p 1 5786
aa.b Wikidata 1 4654
aa.b Wikiquote 1 4658
aa.b Wikiversity 1 4655
aa.d Main_Page 1 5449
aa.d Special:Log/Rschen7754 1 5589
aa.d Special:WhatLinksHere/User:Rschen7754 1 5168
aa.d User:14.99.4.25 1 4761
aa.d User:88.5.75.89 1 4760
aa.d User:95.27.0.82 1 4762
  1. 以第一行aa.b User_talk:Sevela.p 1 5786为例,这一行由空格字符分割成了四个字段:
内容 意义
aa.b 项目名称,".b"表示wikibooks
User_talk:Sevela.p 网页的三级目录
1 一小时内的访问次数
5786 一小时内被请求的字节总数

上述内容可以还原为一个网址,如下图所示,对应的URL为:https://aa.wikibooks.org/wiki/User_talk:Sevela.p
在这里插入图片描述
关于"aa.b"如何映射成为一级域名"aa.wikibooks.org",请参照这个网页中关于"domain_code"的描述:https://wikitech.wikimedia.org/wiki/Analytics/Archive/Data/Pagecounts-raw

至此,海量数据的下载和格式介绍就全部完成了,后面的章节,我们一起用这份数据来做spark开发,演练大数据技能;

没有更多推荐了,返回首页