- 博客(1)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 robots 协议
网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。在网站根目录下放一个robots.txt文本文件，因为一些系统中的URL是大小写敏感的，所以robots.txt的文件名应统一为小写。禁止所有机器人访问 User-agent: * Disallow: /允许所有机器人访问 User-agent: * Disallow: 禁止特定机器人访...
2019-11-04 11:07:41
233
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人