丑憨批的爬虫笔记2（爬虫引发的问题+robots协议）

最新推荐文章于 2024-01-14 21:20:15 发布

新川宝宝

最新推荐文章于 2024-01-14 21:20:15 发布

阅读量115

点赞数

本文链接：https://blog.csdn.net/weixin_44382711/article/details/104756853

版权

去搜
user-agent！！！！
referer！！！！！
网页中怎么查看请求头header信息
点一下Name里的东西就会出来
在这里插入图片描述
规模大小分类

robots协议

User-agent: *      /// user-agent: * :指任何网络爬虫都不允许  通配符
Disallow: /?*       ///disallow : 指不允许访问的资源的目录
Disallow: /pop/*.html 
Disallow: /pinpai/*.html?* 
User-agent: EtaoSpider 
Disallow: /        下面的是四个不允许的爬虫（是四个购物助手）
User-agent: HuihuiSpider 
Disallow: / 
User-agent: GwdangSpider 
Disallow: / 
User-agent: WochachaSpider 
Disallow: /