robots.txt写法技巧汇总

写robots注意事项
1、robots.txt 所有字母必须是小写，必须放到网站根目录
2、User-agent：* 表示定义所有蜘蛛，User-agent：Baiduspider表示定义百度蜘蛛。这里要注意*前面有个空格，否则不生效；
3、禁止与允许访问
Disallow: /表示禁止访问，Allow: /表示允许访问。在写robots.txt时需特别注意的是，/前面有一个英文状态下的空格（必须是英文状态下的空格）。
4、禁止访问网站中的动态页面
Disallow: /?
5、禁止搜索引擎访问文件夹中的某一类文件
Disallow: /a/*.js
6、禁止搜索引擎访问文件夹中的某一类目录和文件
Disallow: /a/ps*
7、禁止访问admin后台，防止后台泄露
Disallow: /adm*
8、使用”*”和”$”：
Baiduspider 支持使用通配符””和”$”来模糊匹配url。 “$” 匹配行结束符。 “” 匹配0或多个任意字符。
例如允许收录所有.html的页面，Allow: .html$
9、使用robots.txt提交站点地图
Sitemap: https://www.XXXXXXXX.com/sitemap.xml 必须是全部路径；前面有个英文空格别忘记了！
10、使用百度站长工具检查robots.txt是否有错误；
特别注意事项
在写robots.txt文件时语法一定要用对，User-agent、Disallow、Allow、Sitemap这些词都必须是第一个字母大写，后面的字母小写，而且在:后面必须带一个英文字符下的空格。
网站上线之前切记写robots.txt文件禁止蜘蛛访问网站，如果不会写就先了解清楚写法之后再写，以免给网站收录带来不必要的麻烦。
定期检查robots.txt协议，使用死链提交工具；