在网站根目录会有一个robots.txt文件
User-agent: Baiduspider //
Allow: /index.html
Disallow: /
用几个最常见的情况,直接举例说明:
- 允许所有SE收录本站:
robots.txt为空就可以,什么都不要写。
- 禁止所有SE收录网站的某些目录:
User-agent: *
Disallow: /目录名1/
Disallow: /目录名2/
Disallow: /目录名3/
- 禁止某个SE收录本站,例如禁止百度:
User-agent: Baiduspider
Disallow: /
- 禁止所有SE收录本站:
User-agent: *
Disallow: /