网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
- 如下图,在一个下载文件上点击鼠标右键,选择"复制链接地址",即可取到此文件的下载地址:
-
上述文件的下载地址为"https://dumps.wikimedia.org/other/pagecounts-raw/2016/2016-08/pagecounts-20160801-000000.gz",根据这个我们能推测出20160801这一天其他23个小时的统计文件的地址,只要把"00000"改成"01000"、"02000",找到了规律就可以用迅雷来做批量下载了;
-
打开迅雷软件,如下图操作,点击红框1中的加号,在弹出的窗口点击红框2中的"添加批量任务":
- 如下图,在弹出的窗口中,将前面的url粘贴进去,然后将红框1中的两个"0"改成"(*)",再把红框2中的数字改为23,然后点击下面的"确定"按钮:
- 如下图,在弹出的窗口中,勾选红框中的"合并为任务组",然后点击下面的"立即下载"按钮,即可开始下载:
- 这样就把2016年8月1日的所有统计数据下载下来了,其他日期的数据也可以用此方法批量下载;
数据格式简介
- 经过漫长等待终于将数据下载下来了,打开看看里面内容,如下所示:
aa.b User_talk:Sevela.p 1 5786
aa.b Wikidata 1 4654
aa.b Wikiquote 1 4658
aa.b Wikiversity 1 4655
aa.d Main_Page 1 5449
aa.d Special:Log/Rschen7754 1 5589
aa.d Special:WhatLinksHere/User:Rschen7754 1 5168
aa.d User:14.99.4.25 1 4761
aa.d User:88.5.75.89 1 4760
aa.d User:95.27.0.82 1 4762
- 以第一行aa.b User_talk:Sevela.p 1 5786为例,这一行由空格字符分割成了四个字段:
| 内容 | 意义 |
| — | — |
| aa.b | 项目名称,".b"表示wikibooks |
| User_talk:Sevela.p | 网页的三级目录 |
| 1 | 一小时内的访问次数 |
| 5786 | 一小时内被请求的字节总数 |
上述内容可以还原为一个网址,如下图所示,对应的URL为:https://aa.wikibooks.org/wiki/User_talk:Sevela.p
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!