一、爬虫是什么?
名称:web-crawler (网络爬虫) 或者 spider
简介:通过一定的规则(模拟网络请求)自动抓取(采集)互联网上的相关数据,原则上只要网上能够看到的东西,爬虫都可以抓取,可见即可爬。
爬虫分类:
1.通用爬虫:类似百度、谷歌、抓取对象是整个互联网
2.垂直爬虫:针对某些特定的网站指定的爬虫。比如今日头条:针对网站抓取;某些小的电商网站:抓取大的电商网站(jd,tb)
我们现在工作写的都是些垂直爬虫
robots 协议 :网址末尾加上robots.txt
1.User-agent: 爬虫的名称
2.Disallow : 不允许爬虫访问的网址
(1) User-agent : *
Disallow:/ 所有爬虫都不允许
(2)User-agent:*
Disallow: 所有爬虫都允许
(3)Usr-agent :Baiduspider
Disallow:/ baidu 不允许baiduspider爬取这个路径下的数据
3.Allow :允许爬虫访问的网址
302的演示
我们在百度搜索框中输入 http://baidu.com 可以在检查中看到302状态码以及
Location:https://www.baidu.com/ 实际的网址。