关闭

如何生成robots.txt?

406人阅读 评论(0) 收藏 举报

robots.txt是一个文本文件,可以对抓取网络的搜索引擎蜘蛛进行限制,设置允许它抓取的范围、文件及目录,这是一个简单且重要的工具,下面跟大家介绍一下怎样写robots.txt文件。

robots.txt必须放在网站根目录下,且文件名必须小写,下面看一个例子:

# robots.txt file start

# Exclude Files From All Robots:

User-agent: *
Disallow: /security/
Disallow: /admin/
Disallow: /admin.htm

# End robots.txt file

禁止访问写法:
Disallow: /
User-agent: badbat

有#号的都是注释,方便阅读。
User-agent是搜索引擎的蜘蛛,后面用了*号,表示允许所有的蜘蛛访问,也可以建一个空的robots.tx文件。
Disallow是表示不允许抓取目录或者文件,/admin.htm是文件,/admin/是站点目录,表示禁止抓取的范围。
Disallow: /是表示禁止所有搜索引擎访问。
User-agent: badbat是表示禁止某个搜索引擎访问


0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:735938次
    • 积分:10995
    • 等级:
    • 排名:第1501名
    • 原创:480篇
    • 转载:10篇
    • 译文:0篇
    • 评论:29条
    文章分类
    最新评论