【Python3 爬虫学习笔记】基本库的使用 5 —— 使用urllib

4. 分析Robots协议

利用urllib的robotparser模块，可以实现网站Robots协议的分析。

4.1 Robots协议

Robots协议也称为爬虫协议、机器人协议，它的全名叫作网络爬虫排除标准(Robots Exclusion Protocol)，用来告诉爬虫和搜索引擎哪些页面可以爬取，哪些不可以抓取。它通常是一个叫作robots.txt的文本文件，一般放在网站的根目录下。
当搜索爬虫访问一个站点时，它首先会检查这个站点根目录下是否存在robots.txt文件，如果存在，搜索爬虫会根据其中定义的爬取范围来爬取。如果没有找到这个文件，搜索爬虫便会访问所有可直接访问的页面。
一个robots.txt的样例：

User_agent:*
Disallow:/
Allow: /public/

这实现了对所有搜索爬虫只允许爬取public目录的功能，将上述内容保存成robots.txt文件，放在网站的根目录下，和网站的入口文件（比如index.php、index.html和index.jsp等）放在一起。

4.2 爬虫名称

爬虫名称	名称	网站
BaiduSpider	百度	www.baidu.com
Googlebot	谷歌	www.google.com
360Spider	360搜索	www.so.com
YodaoBot	有道	www.youdao.com
ia_archiver	Alexa	www.alexa.cn
Scooter	altavista	www.altavista.com

4.3 robotparser

该模块提供了一个类RobotFileParser，它可以根据某网站的robots.txt文件来判断一个爬取爬虫是否有权限来爬取这个网页,声明如下：

urllib.robotparser.RobotFileParser(url="")

几个常用方法：

• set_url()：用来设置robots.txt文件的链接。如果在穿件RobotFileParser对象时传入了链接，那么就不需要在使用这个方法设置了。
• read()：读取robots.txt文件并进行分析。注意，这个方法执行一个读取和分析操作，如果不调用这个方法，接下来的判断都会为False，所以一定记得调用这个方法。这个方法不会返回任何内容，但是执行了读取操作。
• parse()：用来解析robots.txt文件，传入的参数是robots.txt某些行的内容，它会按照robots.txt的语法规则来分析这些内容。
• can_fetch()：该方法传入两个参数，第一个是User-agent，第二个是要转区的URL。返回的内容是该搜索引擎是够可以抓取这个URL，返回结果是True或False。
• mtime()：返回的是上次抓取和分析robots.txt的时间，这对于长时间分析和抓取的搜索爬虫时很有必要的，你可能需要定期检查来抓取最新的robots.txt。
• modified()：它同样对长时间分析和抓取的搜索爬虫很有帮助，将当前时间设置为上次抓取和分析robots.txt的时间。

实例如下：

from urllib.robotparser import RobotFileParser

rp = RobotFileParser()
rp.set_url('http://www.jianshu.com/robots.txt')
rp.read()
print(rp.can_fetch('*', 'http://www.jianshu.com/p/b67554025d7d'))
print(rp.can_fetch('*', "http://www.jianshu.com/search?q=python&page=1&type=collections"))

这里以简书为例，首先创建RobotFileParser对象，然后通过ser_url()方法设置了robots.txt的链接。