python爬虫学习第六天

今天回到宿舍10点半了，没看多少东西，稍微写一点就当打卡了。
今天看了使用urllib.robotparser分析robots协议

首先介绍下robot协议

robots协议也被称作爬虫协议、机器人协议，它的全名叫做网络爬虫排除标准（Robots Exclusion Protocol），同来告诉爬虫和搜索引擎哪些页面可以抓取，哪些不可以抓取。它通常是一个叫做robots.txt的文本文件，放在网站的根目录下。

robot文件中的内容一般形如以下格式：

User-agent: *
Disallow: /
Allow: /public/

以及这样

User-agent: WebCrawler
Disallow:
User-agent: *
Disallow: /

常见的spider列出如下：

BaiduSpider 百度 www.baidu.com
Googlebot 谷歌 www.google.com
360Spider 360搜索 www.so.com
YodaoBot 有道 www.youdao.com
ia_archiver Alexa www.alexa.cn
Scooter altavista www.altavista.com

练习1 robotparse功能实例

# from urllib.robotparser import RobotFileParser

# rb = RobotFileParser()
# rb.set_url('http://www.jianshu.com/robots.txt')
# rb.read()
# print(rb.can_fetch('*','http://www.jianshu.com/p/b67554025d7d'))
# print(rb.can_fetch('*','http://www.jianshu.com/search?q=python&page=1&type=collections'))

练习2 使用parser()方法执行读取和分析

# from urllib.robotparser import RobotFileParser
# from urllib.request import urlopen

# rb = RobotFileParser()
# rb.parse(urlopen('http://www.jianshu.com/robots.txt').read().decode('utf-8').split('\n'))
# print(rb.can_fetch('*', 'http://www.jianshu.com/p/b67554025d7d'))
# print(rb.can_fetch('*', "http://www.jianshu.com/search?q=python&page=1&type=collections"))

今天就这些把，洗洗睡了。。。