我的爬虫笔记(四)

盗亦有道

网络爬虫有些是对网络有危害的,所以人们规定了一些东西,来进行对其的限制

网络爬虫,爬取网络资源需要遵循一定的协议

网站通过两种方式来限制网络爬虫

1. 来源审查:大致就是,他只让认识的浏览器或者爬虫进行访问
2. Robots协议:就是提前告知哪些东西你可以爬取,哪些东西不行,然后我们可以通过在网址后面加上/robots.txt即可调出,该网址的Robots协议,例如百度 http://www.baidu.com/robots.txt

但是遵不遵循该协议还得看爬虫作者了

 大致所有的网站都会有Robots协议来保证爬虫对其的危害

如果某些网站不提供Robots协议,那么就是默认爬虫可以随便进行内容提取

(如果你的爬虫爬取效率像人类一样,内容少,时间短,这是可以不遵循协议,因为爬虫的操作像人类一样,没有神魔危害)

那么问题来了,写爬虫怎莫才能遵循Robots协议呢

1. 自动识别
2. 人工看