Python 爬虫的合法性 - robots.txt

1. 爬虫的合法性 - robots.txt

网站都有一个名为 robots.txt 的文档，当然也有部分网站没有设定 robots.txt。
robot.txt是网站写给爬虫看的，里面写了不希望爬虫做的事，如不要访问某些文件夹或文件，或限制爬虫访问网站的频率
对于没有设定 robots.txt 的网站可以通过网络爬虫获取没有口令加密的数据，也就是该网站所有页面数据都可以爬取。如果网站有 robots.txt 文档，就要判断这个网站有哪些数据是不能去爬取的

1.1 查看robot.txt

根域名/robots.txt，如访问百度的robots.txt

baidu.com/robots.txt

1.2 robots.txt的内容

User-agent: 爬虫的名称
Disallow: 不允许爬虫访问的地址
Allow: 允许爬虫访问的地址

若User-agent是*，则表示对象是所有爬虫
Disallow和Allow后面跟的是地址，地址的描述格式符合正则表达式(regex)的规则。因此可以在python中使用正则表达式来筛选出可以访问的地址。

以下是一段百度robots.txt的内容

User-agent: Baiduspider
Disallow: /baidu
Disallow: /s?
Disallow: /ulink?
Disallow: /link?

1.3 robot.txt的规范

谷歌的robot.txt规范