ROBOT META标签问题

最新推荐文章于 2023-04-23 19:51:39 发布
最新推荐文章于 2023-04-23 19:51:39 发布
阅读量878 收藏
点赞数
分类专栏： html
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/duci2/article/details/8669254
版权
1、什么是Robots META标签

Robots.txt 文件主要是限制整个站点或者目录的搜索引擎访问情况，而Robots
META标签则主要是针对一个个具体的页面。和其他的META标签（如使用的语言、页面的描述、关键词等）一样，Robots
META标签也是放在页面的<head></head>中，专门用来告诉搜索引擎ROBOTS如何抓取该页的内容。具体的形式类 似（见黑体部分）：


<html>

<head>

<title>时代营销--网络营销专业门户</title><meta name="Robots" content="index,follow">


<meta http-equiv="Content-Type" CONTENT="text/html; charset=gb2312">

<meta name="keywords" content="营销... ">

<meta name="description" content="时代营销网是...">

<link rel="stylesheet" href="/public/css.css" type="text/css">

</head>

<body>

...

</body>

</html>


2、Robots META标签的写法：


Robots META标签中没有大小写之分，name="Robots"表示所有的搜索引擎，可以针对某个具体搜索引擎写为name="BaiduSpider"。content部分有四个指令选项：index、noindex、follow、nofollow，指令间以","分隔。

INDEX 指令告诉搜索机器人抓取该页面；

FOLLOW 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去；

Robots Meta标签的缺省值是INDEX和FOLLOW，只有inktomi除外，对于它，缺省值是INDEX,NOFOLLOW。


这样，一共有四种组合：

<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">

<META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">

<META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW">

<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">


其中

<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">可以写成

<META NAME="ROBOTS" CONTENT="ALL">；

<META NAME="ROBOTS" CONTENT="NOINDEX),NOFOLLOW">可以写成<META NAME="ROBOTS"
CONTENT="NONE">


需要注意的是：上述的robots.txt和Robots
META标签限制搜索引擎机器人ROBOTS

小土豆
关注
专栏目录
css——meta标签
11-20 1290
什么？工作好几年却不能熟练使用meta标签？小贝老师教你全方位了解并使用标签！ 首先，这个标签应该出现在哪里呢？ meta是html语言head区的一个辅助性标签，位于文档的头部，不包含任何内容。 标签的属性定义了与文档相关联的名称/值对。 meta标签提供关于HTML文档的的元信息（meta-information），比如针对搜索引擎和更新频度的描述和关键词 上面文字中的关键字 “元信息”指的是什么呢？ 元数据不会显示在页面上，但是对于机器是可读的。它可用于浏览器（如何显示内容或重新加载页面），搜索引擎（
Meta标签详细参数——Name
sonysonyok88的专栏
01-13 570
    meta是用来在HTML文档中模拟HTTP协议的响应头报文，其分两大部分：HTTP标题信息(HTTP-EQUIV)和页面描述信息(NAME)变量。<br />　　我们最常用且最重要的就是NAME变量中的Keywords和Description的设定，这两个可以让搜索引擎能准确的发现你，吸引更多的人访问你的站点。根据现在流行搜索引擎(Google，Lycos，AltaVista等)的工作原理，搜索引擎先派机器人自动在WWW上搜索，当发现新的网站时，便于检索页面中的Keywords和Descriptio
如何优化机器人
weixin_33831673的博客
04-18 236
在国内，网站管理者似乎对robots.txt并没有引起多大重视，应一些朋友之请求，今天想通过这篇文章来简单谈一下robots.txt的写作。 robots.txt基本介绍 robots.txt是一个纯文本文件，在这个文件中网站管理者可以声明该网站中不想被robots访问的部分，或者指定搜索引擎只收录指定的内容。 当一个搜索机器人（有的叫搜索蜘蛛）访问一个站点时，它会首先检查该站点根目录下是否...
总结一下Meta的用法及robot.txt的讲解【转载】
Ancky的专栏
09-30 1754
总结一下Meta的用法及robot.txt的讲解Tue, 2006-05-23 02:44 — EvanceCopyrightauthorization: 原创做网页做久了一些不受注意的东西的也不得不去了解一下了..上网查找了一下robots.txt的用法,却一个不留神查到了关于meta的一些用法，觉得挺有用的，把详细的用法写出来了关于Meta的
<meta name="robots" content="INDEX,FOLLOW">的含义 seo
yangyun_1999的专栏
06-24 7791
robots.txt是放在网站中，文件级的网络蜘蛛授权；而robots Meta标签是放在网页中，一般用于部分网页需要单独设置的情况下。两者的功能是一样的。 Meta robots标签必须放在和之间，格式： index,follow" /> content中的值决定允许抓取的类型，必须同时包含两个值：是否允许索引（index）和是否跟踪链接（follow，也可以理解为是否允许沿着网页中的超级
解析robots协议及meta标签
cq377078944的博客
12-23 222
robots.txt协议 # 文件名必须为rebots.txt而不是Robots.TXT # 针对所有rebots，允许访问...
Robots META标签的写法
xincai的专栏
02-17 844
Robots META标签的写法： Robots META标签中没有大小写之分， name=”Robots”表示所有的搜索引擎，可以针对某个具体搜索引擎写为name=”BaiduSpider”。 content部分有四个指令选项：index、noindex、follow、nofollow，指令间以“,”分隔。 INDEX 指令告诉搜索机器人抓取该页面； FOLLOW 指令表示搜索机器人可以
forex_samurai_robot_forexsamurairobot_RiskIt_
10-02
《Forex Samurai Robot - 一款智能交易系统在Meta Trader 4平台的应用》 在金融交易领域，特别是外汇市场，自动化交易已经成为许多投资者提高效率、降低风险的重要工具。"Forex Samurai Robot"，又称为...
robotframework报告汉化
u011640418的博客
06-08 997
网上的汉化文件下载之后汉化是没问题了但是看log会有点问题，所以参考对照汉化了下，使用源文件，仅对文本进行汉化。 C:\Python\Lib\site-packages\robot\htmldata\rebot report.html <!DOCTYPE html> <html> <head> <meta http-equiv="Content-Type" content="text/html; charset=utf-8"> <meta htt
HTML页面HEAD信息介绍
『Ａｌｌｅｎ』Blog
12-29 1493
    注：在本文的收集整理中，如有不全的地方和或有误的地方，请斧正，谢谢！    您的个人网站即使做得再精彩，在“浩瀚如海”的网络空间中，也如一叶扁舟不易为人发现，如何推广个人网站，人们首先想到的方法无外乎以下几种：　　　　●　在搜索引擎中登录自己的个人网站　　　　●　在知名网站加入你个人网站的链接　　●　在论坛中发帖子宣传你的个人网站　　META标签是HTML语言HEAD区的一个辅助性
robots meta标签
qq_37301074的博客
04-24 1190
robots meta 标签则主要是针对一个个具体的页面。和其他的META标签（如使用的语言、页面的描述、关键词等）一样，Robots META标签也是放在页面的＜head＞＜/head＞中，专门用来告诉搜索引擎robots如何抓取该页的内容。 写法： robots meta标签中没有大小写之分，name=”robots”表示所有的搜索引擎，可以针对某个具体搜索引擎写为name=”Baid...
SEO中robots.txt，nofollow与noindex三者之间的区别
weixin_33815613的博客
11-27 453
robots.txt，nofollow与noindex这三个功能，有很多站长都很熟悉，也经常用来阻止搜索引擎，但是对于 robots.txt，nofollow与noindex这三者之间的区别理解的不是很深刻，对于何时使用robots.txt，nofollow与 noindex三者中的一个也不是很准确。下面就为大家分析robots.txt，nofollow与noindex的...
[Dreamweaver教程]Meta标签详解
12-20 2264
[Dreamweaver教程]Meta标签详解原作者：indian出处：5D多媒体发表时间：2004-12-8关键词：版权信息：传统媒体及商业网站禁止擅自转载；个人网站转载需经作者同意，并注明作者及出处。<!--google_ad_client = "pub-1259
robot常用根标签语言
最新发布
QVQ_ewen的博客
04-23 167
robot常用根标签语言。
HTML5中几种meta标签的含义及使用（含移动端）
刘鹏博的博客
12-26 6649
1、 这是指定双核浏览器，默认以何种方式渲染页面。 //默认webkit内核 //默认IE兼容模式 //默认IE标准模式而 webkit|ie-comp|ie-stand 这种写法，跟font-family的规则类似，按照顺序排他的优先级，不支持则往下，浏览器将会按照从左到右的先后顺序选择其具备的渲染内核来处理当前网页。目前支持对其提供支持的浏览器有:360 2、 这是一个文档兼容
服务机器人关键技术分析
robotmetai的博客
01-13 4856
底盘 语音 人脸 动作关节 控制大脑
meta 标签内属性及详解
sslcsq的博客
06-15 1019
name 属性 1.keywords 用于告诉搜索引擎，你网页的关键字。举例： <meta name="keywords" content="sslcsq"> 2.description 用于告诉搜索引擎，你网站的主要内容。举例： <meta name="description" content="这是我的世界"> 3.viewport(移动端的窗口) <meta name="viewport" content="width=device-width, initial-sc
网页META标签的标准写法
weixin_33985507的博客
08-19 222
最近，Danny Sullivan谈到了如何处理的搜索引擎meta标签的问题，以下是一些关于在Google中如何处理这些问题的答案。 多内容数值 我们建议你把所有的Meta标签内容放在一个meta中。这将使得meta标签更易于读取并降低发生错误的概率。例如： &lt;META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"&gt; 如果一行包含对个met...
RobotFramework：实战指导-执行时添加命令行参数与标签应用
本文档主要介绍了如何在Robot Framework的命令行执行过程中使用标签（tag）和变量来管理和控制测试用例的执行。 首先，关于标签的使用，Robot Framework允许用户为测试套件或用例设置多个标签，并支持逻辑运算。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值