防止通过robots爆后台和禁止后台目录搜索引擎抓取带/和不带/

robots.txt的更多写法请跳转这里查看：
http://www.dedecmsok.com/html/n49.html

站长：不就是多了条斜杠吗，能有多大不同？小编：很多新手站长搞不明白这其中的作用，其实作用区别很大的呦。

Disallow: /abc
表示禁止蜘蛛索引网站根目录下所有以abc开头的文件夹和文件

举例：
/abc.html
/abcde.php
/abc/123.html
/abc/def/123.html
/abc/def/
/abcde/123/
等文件均不可索引,也就是说只要在网站根目录下以abc开头就禁止蜘蛛索引

Disallow: /abc/
表示禁止蜘蛛索引网站根目录的abc文件夹，以及abc文件夹下的文件

例：
/abc/123.html
/abc/def/123.html
/abc/def/

不可被蜘蛛索引简单一句话总结就是：一个属于针对，一个属于包含。

Disallow: /abc
禁止了根目录下所有以abc开头的文件夹和文件

Disallow: /abc/
则只针对根目录下的abc文件夹以及abc文件夹下的子目录和文件以下内容。

---

:该项的值用于描述不希望被访问的一组URL，这个值可以是一条完整的路径，也可以是路径的非空前缀，以Disallow项的值开头的URL不会被蜘蛛访问。

例如：Disallow:/help

意思是禁止蜘蛛问
/help.html
/helpabc.html
/help/index.html

而：Disallow:/help/
则允许蜘蛛访问
/help.html
/helpabc.html
但是不能访问
/help/index.html

---

实际运用-通配符号
比如后台目录为admin
设置_以下任意一个都可以
/ad*/
/adm*/
/*min/

这样就可以防止后台被爆，又能禁止后台被搜索引擎收录和爬行。