robots.txt 协议---Robots.txt 规范
Robots.txt 规范摘要本文档详细介绍了 Google 处理 robots.txt 文件的方式,这种文件让您可以控制 Google 的网站抓取工具如何抓取可公开访问的网站并将其编入索引。具体变化2019 年 7 月 1 日,Google 宣布将推动 robots.txt 协议成为一项互联网标准。这些变化都反映在本文档中。变化列表基本定义定义 抓取工具 抓...
转载
2019-12-09 16:20:50 ·
1004 阅读 ·
0 评论