如何生成robots.txt?

robots.txt是一个文本文件,可以对抓取网络的搜索引擎蜘蛛进行限制,设置允许它抓取的范围、文件及目录,这是一个简单且重要的工具,下面跟大家介绍一下怎样写robots.txt文件。

robots.txt必须放在网站根目录下,且文件名必须小写,下面看一个例子:

# robots.txt file start

# Exclude Files From All Robots:

User-agent: *
Disallow: /security/
Disallow: /admin/
Disallow: /admin.htm

# End robots.txt file

禁止访问写法:
Disallow: /
User-agent: badbat

有#号的都是注释,方便阅读。
User-agent是搜索引擎的蜘蛛,后面用了*号,表示允许所有的蜘蛛访问,也可以建一个空的robots.tx文件。
Disallow是表示不允许抓取目录或者文件,/admin.htm是文件,/admin/是站点目录,表示禁止抓取的范围。
Disallow: /是表示禁止所有搜索引擎访问。
User-agent: badbat是表示禁止某个搜索引擎访问


阅读更多
个人分类: Seo
想对作者说点什么? 我来说一句

网址受到robots.txt的限制

seeyond seeyond

2010-01-04 16:03:00

阅读数:293

没有更多推荐了,返回首页

不良信息举报

如何生成robots.txt?

最多只允许输入30个字

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭