如何生成robots.txt?

robots.txt是一个文本文件，可以对抓取网络的搜索引擎蜘蛛进行限制，设置允许它抓取的范围、文件及目录，这是一个简单且重要的工具，下面跟大家介绍一下怎样写robots.txt文件。

robots.txt必须放在网站根目录下，且文件名必须小写，下面看一个例子：

# robots.txt file start

# Exclude Files From All Robots:

User-agent: *
Disallow: /security/
Disallow: /admin/
Disallow: /admin.htm

# End robots.txt file

禁止访问写法：
Disallow: /
User-agent: badbat

有#号的都是注释，方便阅读。
User-agent是搜索引擎的蜘蛛，后面用了*号，表示允许所有的蜘蛛访问，也可以建一个空的robots.tx文件。
Disallow是表示不允许抓取目录或者文件，/admin.htm是文件，/admin/是站点目录，表示禁止抓取的范围。
Disallow: /是表示禁止所有搜索引擎访问。
User-agent: badbat是表示禁止某个搜索引擎访问