学习的笔记

robots协议

Robots.txt的作用：

1. 可以让蜘蛛更高效的爬行网站；
2. 可以阻止蜘蛛爬行动态页面，从而解决重复收录的问题；
3. 可以减少蜘蛛爬行无效页面，节省服务器带宽；

Robots参数：

User-agent: 搜索机器人的名称

Disallow: 不允许搜索机器人访问的地址Allow: 允许搜索机器人访问的地址(两个都是后接地址，可完整 可部分 符合正则表达ahttp://t.csdnimg.cn/f3aFk)

 robots.txt的定义

        robots.txt是一个协议,我们可以把它理解为一个网站的"管家",它会告诉搜索引擎哪些页面可以访问,哪些页面不能访问。也可以规定哪些搜索引擎可以访问我们的网站而哪些搜索引擎不能爬取我们网站的信息等等,是网站管理者指定的"君子协议"。

        当一个搜索机器人（有的叫搜索蜘蛛）访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，那么搜索机器人就沿着链接抓取。

       robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。

查看robots.txt：在浏览器的网址搜索栏中，输入网站的根域名，然后再输入/robot.txt即可查看

                        
学习链接：https://blog.csdn.net/m0_51683653/article/details/127252676

学习链接：https://blog.csdn.net/weixin_44349875/article/details/87912764