ROBOT META标签问题

最新推荐文章于 2023-04-23 19:51:39 发布
最新推荐文章于 2023-04-23 19:51:39 发布
阅读量878 收藏
点赞数
分类专栏： html
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/duci2/article/details/8669254
版权
1、什么是Robots META标签

Robots.txt 文件主要是限制整个站点或者目录的搜索引擎访问情况，而Robots
META标签则主要是针对一个个具体的页面。和其他的META标签（如使用的语言、页面的描述、关键词等）一样，Robots
META标签也是放在页面的<head></head>中，专门用来告诉搜索引擎ROBOTS如何抓取该页的内容。具体的形式类 似（见黑体部分）：


<html>

<head>

<title>时代营销--网络营销专业门户</title><meta name="Robots" content="index,follow">


<meta http-equiv="Content-Type" CONTENT="text/html; charset=gb2312">

<meta name="keywords" content="营销... ">

<meta name="description" content="时代营销网是...">

<link rel="stylesheet" href="/public/css.css" type="text/css">

</head>

<body>

...

</body>

</html>


2、Robots META标签的写法：


Robots META标签中没有大小写之分，name="Robots"表示所有的搜索引擎，可以针对某个具体搜索引擎写为name="BaiduSpider"。content部分有四个指令选项：index、noindex、follow、nofollow，指令间以","分隔。

INDEX 指令告诉搜索机器人抓取该页面；

FOLLOW 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去；

Robots Meta标签的缺省值是INDEX和FOLLOW，只有inktomi除外，对于它，缺省值是INDEX,NOFOLLOW。


这样，一共有四种组合：

<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">

<META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">

<META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW">

<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">


其中

<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">可以写成

<META NAME="ROBOTS" CONTENT="ALL">；

<META NAME="ROBOTS" CONTENT="NOINDEX),NOFOLLOW">可以写成<META NAME="ROBOTS"
CONTENT="NONE">


需要注意的是：上述的robots.txt和Robots
META标签限制搜索引擎机器人ROBOTS

小土豆
关注
专栏目录
css——meta标签
11-20 1296
什么？工作好几年却不能熟练使用meta标签？小贝老师教你全方位了解并使用标签！ 首先，这个标签应该出现在哪里呢？ meta是html语言head区的一个辅助性标签，位于文档的头部，不包含任何内容。 标签的属性定义了与文档相关联的名称/值对。 meta标签提供关于HTML文档的的元信息（meta-information），比如针对搜索引擎和更新频度的描述和关键词 上面文字中的关键字 “元信息”指的是什么呢？ 元数据不会显示在页面上，但是对于机器是可读的。它可用于浏览器（如何显示内容或重新加载页面），搜索引擎（
Meta标签详细参数——Name
sonysonyok88的专栏
01-13 571
    meta是用来在HTML文档中模拟HTTP协议的响应头报文，其分两大部分：HTTP标题信息(HTTP-EQUIV)和页面描述信息(NAME)变量。<br />　　我们最常用且最重要的就是NAME变量中的Keywords和Description的设定，这两个可以让搜索引擎能准确的发现你，吸引更多的人访问你的站点。根据现在流行搜索引擎(Google，Lycos，AltaVista等)的工作原理，搜索引擎先派机器人自动在WWW上搜索，当发现新的网站时，便于检索页面中的Keywords和Descriptio
如何优化机器人
weixin_33831673的博客
04-18 237
在国内，网站管理者似乎对robots.txt并没有引起多大重视，应一些朋友之请求，今天想通过这篇文章来简单谈一下robots.txt的写作。 robots.txt基本介绍 robots.txt是一个纯文本文件，在这个文件中网站管理者可以声明该网站中不想被robots访问的部分，或者指定搜索引擎只收录指定的内容。 当一个搜索机器人（有的叫搜索蜘蛛）访问一个站点时，它会首先检查该站点根目录下是否...
总结一下Meta的用法及robot.txt的讲解【转载】
Ancky的专栏
09-30 1755
总结一下Meta的用法及robot.txt的讲解Tue, 2006-05-23 02:44 — EvanceCopyrightauthorization: 原创做网页做久了一些不受注意的东西的也不得不去了解一下了..上网查找了一下robots.txt的用法,却一个不留神查到了关于meta的一些用法，觉得挺有用的，把详细的用法写出来了关于Meta的
<meta name="robots" content="INDEX,FOLLOW">的含义 seo
yangyun_1999的专栏
06-24 7792
robots.txt是放在网站中，文件级的网络蜘蛛授权；而robots Meta标签是放在网页中，一般用于部分网页需要单独设置的情况下。两者的功能是一样的。 Meta robots标签必须放在和之间，格式： index,follow" /> content中的值决定允许抓取的类型，必须同时包含两个值：是否允许索引（index）和是否跟踪链接（follow，也可以理解为是否允许沿着网页中的超级
解析robots协议及meta标签
cq377078944的博客
12-23 222
robots.txt协议 # 文件名必须为rebots.txt而不是Robots.TXT # 针对所有rebots，允许访问...
HTML页面HEAD信息介绍
『Ａｌｌｅｎ』Blog
12-29 1500
    注：在本文的收集整理中，如有不全的地方和或有误的地方，请斧正，谢谢！    您的个人网站即使做得再精彩，在“浩瀚如海”的网络空间中，也如一叶扁舟不易为人发现，如何推广个人网站，人们首先想到的方法无外乎以下几种：　　　　●　在搜索引擎中登录自己的个人网站　　　　●　在知名网站加入你个人网站的链接　　●　在论坛中发帖子宣传你的个人网站　　META标签是HTML语言HEAD区的一个辅助性
forex_samurai_robot_forexsamurairobot_RiskIt_
10-02
《Forex Samurai Robot - 一款智能交易系统在Meta Trader 4平台的应用》 在金融交易领域，特别是外汇市场，自动化交易已经成为许多投资者提高效率、降低风险的重要工具。"Forex Samurai Robot"，又称为...
robotframework报告汉化
u011640418的博客
06-08 998
网上的汉化文件下载之后汉化是没问题了但是看log会有点问题，所以参考对照汉化了下，使用源文件，仅对文本进行汉化。 C:\Python\Lib\site-packages\robot\htmldata\rebot report.html <!DOCTYPE html> <html> <head> <meta http-equiv="Content-Type" content="text/html; charset=utf-8"> <meta htt
SEO中robots.txt，nofollow与noindex三者之间的区别
weixin_33815613的博客
11-27 455
robots.txt，nofollow与noindex这三个功能，有很多站长都很熟悉，也经常用来阻止搜索引擎，但是对于 robots.txt，nofollow与noindex这三者之间的区别理解的不是很深刻，对于何时使用robots.txt，nofollow与 noindex三者中的一个也不是很准确。下面就为大家分析robots.txt，nofollow与noindex的...
robot常用根标签语言
QVQ_ewen的博客
04-23 168
robot常用根标签语言。
HTML5中几种meta标签的含义及使用（含移动端）
刘鹏博的博客
12-26 6653
1、 这是指定双核浏览器，默认以何种方式渲染页面。 //默认webkit内核 //默认IE兼容模式 //默认IE标准模式而 webkit|ie-comp|ie-stand 这种写法，跟font-family的规则类似，按照顺序排他的优先级，不支持则往下，浏览器将会按照从左到右的先后顺序选择其具备的渲染内核来处理当前网页。目前支持对其提供支持的浏览器有:360 2、 这是一个文档兼容
meta 标签内属性及详解
sslcsq的博客
06-15 1035
name 属性 1.keywords 用于告诉搜索引擎，你网页的关键字。举例： <meta name="keywords" content="sslcsq"> 2.description 用于告诉搜索引擎，你网站的主要内容。举例： <meta name="description" content="这是我的世界"> 3.viewport(移动端的窗口) <meta name="viewport" content="width=device-width, initial-sc
网页头部<meta name="Robots" 用法 <meta系列用法.
似水流年
03-03 1219
有时候会有一些站点内容，不希望被ROBOTS抓取而公开。为了解决这个问题，ROBOTS开发界提供了两个办法：一个是robots.txt，另一个是The Robots META标签。 1,  默认是all 其中的属性说明如下：  设定为all：文件将被检索，且页面上的链接可以被查询；  设定为none：文件将不被检索，且页面上的链接不可以被查询；  设定为index：文件将被检索；
机器人robot元标签
心灵净土
08-14 981
<br />可以通过聪明的机器人元标签，来与机器人爬虫交互，告知它怎么爬你的网站，用法如下：<br /> <br /><meta name=”robots” content=”noindex, nofollow, noodp, noydir, nosnippet”><br />       可以放到content中的关键字有以下几个:“noindex”– this will prevent search engines from indexing the page “nofollow” — this wil
页面头部<meta>中的属性和含义
weixin_38168918的博客
08-26 130
1<meta name="robots" content="index, follow" /> none：搜索引擎将忽略此网页，等价于noindex，nofollow。 noindex：搜索引擎不索引此网页。 nofollow：搜索引擎不继续通过此网页的链接索引搜索其它的网页。 all：搜索引擎将索引此网页与继续通过此网页的链接索引，等价于in...
robot framework-tags(标签)实例
weixin_30521649的博客
04-23 605
robot framework的标签是一个简单而又强大的分类机制，功能如下： 标签在reports,logs以及测试数据中展示，显示关于测试用例的元数据信息 用例的执行统计（total,passed,failed就是自动基于标签收集的） 使用标签，可以包含或排除测试用例来执行 使用标签，可以指定哪些是关键用例 标签的几种方式： Force Tags:包含该设...
meta标签robots属性值解析
zeros
02-13 600
robots.txt是放在网站中，文件级的网络蜘蛛授权；而robots Meta标签是放在网页中，一般用于部分网页需要单独设置的情况下。两者的功能是一样的。 Meta robots标签必须放在和之间，格式： content中的值决定允许抓取的类型，必须同时包含两个值：是否允许索引（index）和是否跟踪链接（follow，也可以理解为是否允许沿着网页中的超级链接继续抓取）。共有4个参数可选，组成4个组合： index,follow：允许抓取本页，允许跟踪链接。 index,nofollow：允许抓取本页，但
HTML+CSS制作机器人
最新发布
09-25
<meta charset="UTF-8"> 机器人 <link rel="stylesheet" href="robot.css"> <div class="robot-container"> <div class="robot-body"> <img src="robot_face.png" alt="机器人脸"> ``` 然后，在对应的 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值