《攻防世界》学习笔记——web篇
《攻防世界》学习笔记——web篇
01 Robots协议
Robots协议全称”网络爬虫排除标准”(Robots Exclusion Protocol),又简称”爬虫协议”,用于告诉搜索引擎网站哪些网页可以抓取,哪些不可以抓取.Robots协议是一个行业公认的规范,几乎所有的搜索引擎都遵守这一标准
url/robots.txt 查看某网页的robots协议
Robots协义的使用
1:禁止所有搜索引擎对网站进行一个抓取
User-agent: *
Disallow: /
2:允许所有搜索引擎对
原创
2021-10-16 05:15:27 ·
1660 阅读 ·
0 评论