如何生成robots.txt?

原创 2012年03月21日 17:26:38

robots.txt是一个文本文件,可以对抓取网络的搜索引擎蜘蛛进行限制,设置允许它抓取的范围、文件及目录,这是一个简单且重要的工具,下面跟大家介绍一下怎样写robots.txt文件。

robots.txt必须放在网站根目录下,且文件名必须小写,下面看一个例子:

# robots.txt file start

# Exclude Files From All Robots:

User-agent: *
Disallow: /security/
Disallow: /admin/
Disallow: /admin.htm

# End robots.txt file

禁止访问写法:
Disallow: /
User-agent: badbat

有#号的都是注释,方便阅读。
User-agent是搜索引擎的蜘蛛,后面用了*号,表示允许所有的蜘蛛访问,也可以建一个空的robots.tx文件。
Disallow是表示不允许抓取目录或者文件,/admin.htm是文件,/admin/是站点目录,表示禁止抓取的范围。
Disallow: /是表示禁止所有搜索引擎访问。
User-agent: badbat是表示禁止某个搜索引擎访问


相关文章推荐

robots写法.txt

  • 2012年09月05日 11:38
  • 4KB
  • 下载

robots.txt 不让搜索引擎收录网站的方法

有没有担心过自己的隐私会在强大的搜索引擎面前无所遁形?想象一下,如果要向世界上所有的人公开你的私人日记,你能接受吗?的确是很矛盾的问题,站长们大都忧虑“如何让搜索引擎收录的我的网站?”,而我们还是要研...

Python 网络爬虫 010 (高级功能) 解析 robots.txt 文件

解析 robots.txt 文件使用的系统:Windows 10 64位 Python 语言版本:Python 2.7.10 V 使用的编程 Python 的集成开发环境:PyCharm 2016...

seo优化必须知道的robots.txt写法

什么是robots.txt文件?        robots是站点与spider沟通的重要渠道,站点通过robots文件声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。请注意,仅...

robots.txt的格式

在国内,网站管理者似乎对robots.txt并没有引起多大重视,应一些朋友之请求,今天想通过这篇文章来简单谈一下robots.txt的写作。 robots.txt基本介绍 robots.t...

如何写robots.txt?

如何写robots.txt? 在国内,网站管理者似乎对robots.txt并没有引起多大重视,应一些朋友之请求,今天想通过这篇文章来简单谈一下robots.txt的写作。 robots.txt基本介绍...

zen cart网店系统的robots.txt如何写?

本人整理Zen Cart 1.3.9h版本robots写法,供参考 http://www.sem9.com/thread-9118-1.html http://hi.baidu.c...

robots.txt 文件写法大全

robots.txt写法大全和robots.txt语法的作用 1如果允许所有搜索引擎访问网站的所有部分的话 我们可以建立一个空白的文本文档,命名为robots.txt放在网站的根目录下即可。...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:如何生成robots.txt?
举报原因:
原因补充:

(最多只允许输入30个字)