怎样写robot.txt

最新推荐文章于 2019-10-16 10:39:05 发布
最新推荐文章于 2019-10-16 10:39:05 发布
阅读量97 收藏
点赞数
在国内，网站管理者似乎对robots.txt并没有引起多大重视，可是一些功能离开它又不能是，因此今天石家庄SEO想通过这篇文章来简单谈一下robots.txt的写作。?的部分，或者指定搜索引擎只收录指定的内容。
当一个搜索机器人（有的叫搜索蜘蛛）访问一个站点时，
robots.txt基本介绍
robots.txt是一个纯文本文件，在这个文件中网站管理者可以声明该网站中不想被robots访问的部分，或者指定搜索引擎只收录指定的内容。
当一个搜索机器人（有的叫搜索蜘蛛）访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，那么搜索机器人就沿着链接抓取。
另外，robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。
robots.txt写作语法
首先，我们来看一个robots.txt范例：http://www.shijiazhuangseo.com.cn/robots.txt
访问以上具体地址，我们可以看到robots.txt的具体内容如下：
# Robots.txt file from http://www.shijiazhuangseo.com.cn
# All robots will spider the domain
User-agent: *
Disallow:
以上文本表达的意思是允许所有的搜索机器人访问www.shijiazhuangseo.com..cn站点下的所有文件。
具体语法分析：其中#后面文字为说明信息；User-agent:后面为搜索机器人的名称，后面如果是*，则泛指所有的搜索机器人；Disallow:后面为不允许访问的文件目录。
下面，我将列举一些robots.txt的具体用法：
允许所有的robot访问
User-agent: *
Disallow:
或者也可以建一个空文件 "/robots.txt" file
禁止所有搜索引擎访问网站的任何部分
User-agent: *
Disallow: /
禁止所有搜索引擎访问网站的几个部分（下例中的01、02、03目录）
User-agent: *
Disallow: /01/
Disallow: /02/
Disallow: /03/
禁止某个搜索引擎的访问（下例中的BadBot）
User-agent: BadBot
Disallow: /
只允许某个搜索引擎的访问（下例中的Crawler）
User-agent: Crawler
Disallow:
User-agent: *
Disallow: /
另外，我觉得有必要进行拓展说明，对robots meta进行一些介绍：
Robots META标签则主要是针对一个个具体的页面。和其他的META标签（如使用的语言、页面的描述、关键词等）一样，Robots META标签也是放在页面的＜head＞＜/head＞中，专门用来告诉搜索引擎ROBOTS如何抓取该页的内容。
Robots META标签的写法：
Robots META标签中没有大小写之分，name=”Robots”表示所有的搜索引擎，可以针对某个具体搜索引擎写为name=”BaiduSpider”。 content部分有四个指令选项：index、noindex、follow、nofollow，指令间以“,”分隔。
INDEX 指令告诉搜索机器人抓取该页面；
FOLLOW 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去；
Robots Meta标签的缺省值是INDEX和FOLLOW，只有inktomi除外，对于它，缺省值是INDEX,NOFOLLOW。
这样，一共有四种组合：
＜META NAME="ROBOTS" CONTENT="INDEX,FOLLOW"＞
＜META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW"＞
＜META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW"＞
＜META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW"＞
其中
＜META NAME="ROBOTS" CONTENT="INDEX,FOLLOW"＞可以写成＜META NAME="ROBOTS" CONTENT="ALL"＞；
＜META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW"＞可以写成＜META NAME="ROBOTS" CONTENT="NONE"＞
目 前看来，绝大多数的搜索引擎机器人都遵守robots.txt的规则，而对于Robots META标签，目前支持的并不多，但是正在逐渐增加，如著名搜索引擎GOOGLE就完全支持，而且GOOGLE还增加了一个指令“archive”，可以 限制GOOGLE是否保留网页快照。例如：
＜META NAME="googlebot" CONTENT="index,follow,noarchive"＞
表示抓取该站点中页面并沿着页面中链接抓取，但是不在GOOLGE上保留该页面的网页快照。
以上就是石家庄SEO对robots.txt写作语法
首先，我们来看一个robots.txt范例：http://www.shijiazhuangseo.com.cn/robots.txt
访问以上具体地址，我们可以看到robots.txt的具体内容如下：
# Robots.txt file from http://www.shijiazhuangseo.com.cn# All robots will spider the domain
User-agent: *
Disallow:
以上文本表达的意思是允许所有的搜索机器人访问www.shijiazhuangseo.com.cn站点下的所有文件。
具体语法分析：其中#后面文字为说明信息；User-agent:后面为搜索机器人的名称，后面如果是*，则泛指所有的搜索机器人；Disallow:后面为不允许访问的文件目录。
下面，我将列举一些robots.txt的具体用法：
允许所有的robot访问
User-agent: *
Disallow:
或者也可以建一个空文件 "/robots.txt" file
禁止所有搜索引擎访问网站的任何部分
User-agent: *
Disallow: /
禁止所有搜索引擎访问网站的几个部分（下例中的01、02、03目录）
User-agent: *
Disallow: /01/
Disallow: /02/
Disallow: /03/
禁止某个搜索引擎的访问（下例中的BadBot）
User-agent: BadBot
Disallow: /
只允许某个搜索引擎的访问（下例中的Crawler）
User-agent: Crawler
Disallow:
User-agent: *
Disallow: /
另外，我觉得有必要进行拓展说明，对robots meta进行一些介绍：
Robots META标签则主要是针对一个个具体的页面。和其他的META标签（如使用的语言、页面的描述、关键词等）一样，Robots META标签也是放在页面的＜head＞＜/head＞中，专门用来告诉搜索引擎ROBOTS如何抓取该页的内容。
Robots META标签的写法：
Robots META标签中没有大小写之分，name=”Robots”表示所有的搜索引擎，可以针对某个具体搜索引擎写为name=”BaiduSpider”。 content部分有四个指令选项：index、noindex、follow、nofollow，指令间以“,”分隔。
INDEX 指令告诉搜索机器人抓取该页面；
FOLLOW 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去；
Robots Meta标签的缺省值是INDEX和FOLLOW，只有inktomi除外，对于它，缺省值是INDEX,NOFOLLOW。
这样，一共有四种组合：
＜META NAME="ROBOTS" CONTENT="INDEX,FOLLOW"＞
＜META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW"＞
＜META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW"＞
＜META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW"＞
其中
＜META NAME="ROBOTS" CONTENT="INDEX,FOLLOW"＞可以写成＜META NAME="ROBOTS" CONTENT="ALL"＞；
＜META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW"＞可以写成＜META NAME="ROBOTS" CONTENT="NONE"＞
目 前看来，绝大多数的搜索引擎机器人都遵守robots.txt的规则，而对于Robots META标签，目前支持的并不多，但是正在逐渐增加，如著名搜索引擎GOOGLE就完全支持，而且GOOGLE还增加了一个指令“archive”，可以 限制GOOGLE是否保留网页快照。例如：
＜META NAME="googlebot" CONTENT="index,follow,noarchive"＞
表示抓取该站点中页面并沿着页面中链接抓取，但是不在GOOLGE上保留该页面的网页快照。
weixin_34010566
关注
帝国CMS中robots.txt文件用法
09-29
在帝国CMS中，`robots.txt`文件是一个至关重要的元素，它用于指导搜索引擎爬虫如何抓取网站的内容。本文将详细探讨`robots.txt`文件的原理、作用以及在帝国CMS中的具体应用。 **robots协议的原理** `robots协议`，...
robots协议文件的几种写法及示例
一只胡萝卜
03-11 1753
robots协议是放在网站根目录下的文本文件，告诉搜索引擎哪些内容是否可以被爬取； robots协议的作用 robots协议的写法/用法
robots协议文件的写法及语法属性解释
热门推荐
h3110n3w0r1d
10-28 1万+
当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。 一、什么是Robots协议 Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Rob...
robot.txt 的编写
paulfzm的专栏
07-18 286
robots.txt 是一个纯文本文件，当网络蜘蛛来抓取网站的时候，首先就是访问这个网站的robot.txt文件。所以网站管理者都会在robots.txt 文件中声明该网站中不想被robots 访问的部分，或者只允许指定的搜索引擎收录指定的内容。 很明显robot.txt对我们做seo来说是很重要的。   下面来看看应该怎么写robot.txt？ 1、user...
robot.txt的写法详解
huobengluantiao8
07-30 1543
其实robots.txt就是一个记事本文件(txt格式文件),存放在网站根目录下。那么robots.txt语法到底有哪些呢？robots.txt语法有三个语法和两个通配符。三个语法：1.首先要定义网站被访问的搜索引擎是那些。User-agent：（定义搜索引擎）语法：User-agent: * 或 搜索引擎的蜘蛛名称例子：User-agent：Googlebot （定义谷歌，只允许谷歌蜘蛛爬取）U...
看完秒懂robots.txt写法和注意事项
qq_44036324的博客
10-16 1041
robots.txt直接放在网站根目录下，是蜘蛛访问网站时，第一个抓取的文件。robots.txt是告诉蜘蛛网站的哪些文件允许抓取，哪些文件不允许抓取，甚至可以指定特定的蜘蛛能不能抓取特定的文件。没有抓取就没有收录，没有收录就没有排名。所以作为第一蜘蛛访问的文件，写好robots.txt是很重要的，写好robots.txt后，一定要再检查一两遍，以防出错。这里总结下robots.txt写法，让你看...
robotframework脚本编写规范.pdf
02-27
- 测试集（Test Suite）的文件名不超过20个字符，通常使用txt格式，且应具有描述性，易于理解。 - 测试脚本的名字也应简洁，便于理解，文件扩展名会被忽略，下划线会转换为空格，小写字母首字母会自动大写。 2. *...
toy-robot:用Node.js编写的玩具机器人模拟器
05-11
$ npm install$ npm start -- instructions.txt$ node ./bin/robot.js instructions.txt指令格式模拟器仅接受.txt文件，每行只有一个命令。 可用的命令有： X，Y，方向位置（0,1，NORTH）：将机器人放在桌子上。 ...
PyPI 官网下载 | robotframework-debuglibrary-0.9.1.tar.gz
01-15
**PyPI 官网下载 | robotframework-debuglibrary-0.9.1.tar.gz** Robot Framework 是一个开源自动化测试框架，广泛应用于软件测试和任务自动化。它具有关键字驱动的测试架构，支持可扩展性，允许创建自定义库以适应...
大厂测试架构师RobotFramework自动化测试接口笔记
最新发布
05-22
- **文件扩展名**：测试脚本文件一般以 .robot 或 .txt 扩展名保存，也可以使用 .tsv 或 .html。 #### 四、创建 Robot Framework 测试 ##### 1. 打开 RIDE - **启动方法**：双击 Python 安装目录下的 scripts\...
关于搜索引擎--robot文件的写法
weixin_34247299的博客
09-02 94
Google 永远将品质放在第一位。因此，只有当网主提出取消网页记录的请求时，Google 才会删除这些网页的记录，以避免误删网页，保证搜索质量。由于 Google 承诺向用户提供全面客观的搜索结果，因此，我们不能参加网上资料评审活动。 以下是各种不同的删除方式，通常需要六到八周的时间，即等到下一次 Google 漫游后才会生效。 更改网址 删除整...
如何优化机器人
weixin_33831673的博客
04-18 236
在国内，网站管理者似乎对robots.txt并没有引起多大重视，应一些朋友之请求，今天想通过这篇文章来简单谈一下robots.txt的写作。 robots.txt基本介绍 robots.txt是一个纯文本文件，在这个文件中网站管理者可以声明该网站中不想被robots访问的部分，或者指定搜索引擎只收录指定的内容。 当一个搜索机器人（有的叫搜索蜘蛛）访问一个站点时，它会首先检查该站点根目录下是否...
如何使用robots.txt及其详解
weixin_33735077的博客
12-06 802
在国内，网站管理者似乎对robots.txt并没有引起多大重视，应一些朋友之请求，今天想通过这篇文章来简单谈一下robots.txt的写作。 robots.txt基本介绍 robots.txt是一个纯文本文件，在这个文件中网站管理者可以声明该网站中不想被robots访问的部分，或者指定搜索引擎只收录指定的内容。 当一个搜索机器人（有的叫搜索蜘蛛）访问一个站点时，它会首先检查该站点根目录下...
robot.txt的规则以及写法
weixin_33755847的博客
08-19 437
User-agent:　　 该项的值用于描述搜索引擎robot的名字。在”robots.txt”文件中，如果有多条User-agent记录说明有多个robot会受 到”robots.txt”的限制，对该文件来说，至少要有一条User-agent记录。如果该项的值设为*，则对任何robot均有效， 在”robots.txt”文件中，”User-agent:*”这样的记录只能有一条。如果在”robot...
怎样写robots.txt实例
cc1254383393的博客
09-26 3249
资料一 　　1.robots.txt文件是什么 　　robots.txt是一个纯文本文件，是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。每个站点最好建立一个robots.txt文件，对seo更友好。每当搜索蜘蛛来寻找并不存在的robots.txt文件时，服务器将在日志中记录一条404错误，所以你应该在网站中添加一个r
robots.txt写法_怎么写robots
c3212254的博客
06-20 2129
robots是站点与spider沟通的重要渠道，站点通过robots文件声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。　　robots文件往往放置于根目录下，包含一条或更多的记录，这些记录通过空行分开（以CR,CR...
robots.txt大量常见写法示例
王佳斌
08-12 5307
如果允许所有搜索引擎访问网站的所有部分的话 我们可以建立一个空白的文本文档，命名为robots.txt放在网站的根目录下即可。 robots.txt写法如下： User-agent: * Disallow: 或者 User-agent: * Allow: / 如果我们禁止所有搜索引擎访问网站的所有部分的话 robots.txt写法如下： User-agent: * Disallow: / 如...
编写简单Robot.txt
weixin_33905756的博客
04-26 242
2019独角兽企业重金招聘Python工程师标准>>> ...
robotframework 修改txt文件
08-12
要修改txt文件，可以使用Robot Framework中的OperatingSystem库的Append to file关键字。首先，使用Create File关键字创建一个新的txt文件，然后使用Append to file关键字向文件中追加内容。 下面是一个示例代码片段，演示如何使用Robot Framework修改txt文件： ``` *** Settings *** Library OperatingSystem *** Test Cases *** Modify Text File ${file_path} Set Variable C:\\Users\\whoami\\Desktop\\write_file.txt Create File ${file_path} Append To File ${file_path} New content to append ``` 在这个示例中，我们首先设置了文件路径`${file_path}`为`C:\\Users\\whoami\\Desktop\\write_file.txt`，然后使用Create File关键字创建了一个空的txt文件。接下来，使用Append to file关键字将新的内容`New content to append`追加到文件中。 你可以根据需要修改`${file_path}`和要追加的内容，以满足你的具体需求。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [自动化测试 RobotFramework安装以及使用教程](https://blog.csdn.net/A_yonga/article/details/126248202)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] - *3* [robot framework 之写文件操作](https://blog.csdn.net/cuipan1234/article/details/66973068)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值