robots文件

robots.txt
1
必须放在根目录下
2
robots的语法：

User-agent：
用来描述搜索引擎的名字

Disallow：
用来描述不希望被访问到的一个URL,这个URL可以是一个完整的路径，也可以是部分的路径。
任何以disallow开头的url均不会被robots访问到。