python爬虫机器人_Python爬虫机器人协议分析,之,Robots

1. Robots协议

Robots协议是用来告诉搜索引擎那些网页是可以爬取的，哪些是不行的。

搜索爬虫访问一个站点时，它首先会检查这个站点根目录下是否存在robots.txt文件，如果存在，搜索爬虫会根据其中定义的爬取范围来爬取。如果没有找到这个文件，搜索爬虫便会访问所有可直接访问的页面。

一般形式：

User-agent: *

Disallow: /

Allow: /public/

将上述内容保存成robots.txt文件，放在网站的根目录下，和网站的入口文件(比如index.php、index.html和index.jsp等)放在一起。

上面的

User-agent

描述了搜索爬虫的名称，这里将其设置为*则代表该协议对任何爬取爬虫有效。

Disallow

指定了不允许抓取的目录，比如上边的“/”代表不允许抓取所有的页面。

Allow

一般和

Disallow

一起使用，一般不会单独使用，用来排除某些限制。现在设为“/public/”则表示所有页面不允许抓取，除了public目录。

2. robotparser

robotparser模块使用解析robots.txt的。该模块提供了RobotFileParser，它可以根据某网站的robots.txt文件来判断一个爬虫是否有权限来爬取这个网页。

使用的时候需要在构造方法里传入robots.txt的链接。搜先看一下他的声明：

urllib.robotparser.RobotFileParser(url='')

当然在声明时可以不传入，默认为空，之后通过set_url()方法设置一下即可。

常用方法：

set_url()

：用来设置robots.txt文件的链接。如果在创建RobotFileParser对象时传入了链接，那就不再需要使用这个方法设置了。

read()

：读取robots.txt文件并进行分析。注意这个方法执行一个读取和分析操作，如果不调用这个函数，接下来的判断都会是False，所以一定要调用这个方法。这个方法不返回任何内容，但是执行了读取操作。

parse()

：用来解析robots.txt 文件，传入的参数是robots.txt某些行的内容，他会按照robots.txt的语法规则来分析这些内容。

can_fetch()

：该方法传入两个参数，第一个时

User-agent

,第二个是要抓取的

URL

，返回的是这个搜索引擎是否可以新华区这个URL，返回的结果是

True

或

False

。

mtime()

：返回的是上次抓取和分析robots.txt的时间，这对于长时间分析和抓取的搜索爬虫来说是必不可少的，你可能需要定期检查来抓取最新的robots.txt。

modified():

他同样对长时间分析和抓取的搜索爬虫很有帮助，将当前的时间设置为上次抓取和分析robots.txt的时间。

from urllib.robotparser import RobotFileParser

rp = RobotFileParser()

rp.set_url('http ://www.jianshu.com/robots.txt')

rp.read()

print(rp.can_fetch('*', 'http://www.jianshu.com/p/b67554025d7d'))

print(rp.can_fetch('*', "http://www.jianshu.com/search?q=python&page=1&type=collections"))

利用can_fetch()方法判断网页是否可以被抓取。

运行结果：

True

False

这里也可以使用parse()方法来执行读取的分析，如下：

from urllib.robotparser import RobotFileParser

from urllib.request import urlopen

rp = RobotFileParser()

rp.parse(urlopen('http://www.jianshu.com/robots.txt').read().decode('utf-8').split('\n'))

print(rp.can_fetch('*', 'http://www.jianshu.com/p/b67554025d7d'))

print(rp.can_fetch('*', "http://www.jianshu.com/search?q=python&page=1&type=collections"))

结果：

True

False

我们利用robotparser模块可以轻松判断哪些页面可以抓取，那些页面不能抓取。