Meta标签中的robots标签

原创 2016年06月01日 10:57:15

robots.txt是放在网站中,文件级的网络蜘蛛授权;而robots Meta标签是放在网页中,一般用于部分网页需要单独设置的情况下。两者的功能是一样的。

Meta robots标签必须放在和之间,格式:

content中的值决定允许抓取的类型,必须同时包含两个值:是否允许索引(index)和是否跟踪链接(follow,也可以理解为是否允许沿着网页中的超级链接继续抓取)。共有4个参数可选,组成4个组合:

index,follow:允许抓取本页,允许跟踪链接。
index,nofollow:允许抓取本页,但禁止跟踪链接。
noindex,follow:禁止抓取本页,但允许跟踪链接。
noindex,nofllow:禁止抓取本页,同时禁止跟踪本页中的链接。
以上1和4还有另一种写法:

index,follow可以写成all,如:

noindex,nofollow可以写成none,如:

需要注意的是,robots Meta标签很多搜索引擎是不支持的,只有少数搜索引擎能够识别并按给定的值抓取。所以,尽可能的使用robots.txt文件来限制抓取。

最后,给大家一个建议,不要太刻意的在robots.txt中设置过多禁止文件或目录,只设置确实不希望被搜索引擎索引的目录和文件就可以了。

特别是在不清楚文件或目录的作用时,不要轻易禁止抓取。前阵一位做旅游的朋友,网站中有大量的旅游景点图片,几大搜索引擎中却都没有索引,后来对网站检查时发现图片目录upload在管理目录admin下,被robots.txt禁止抓取了。

版权声明:本文为博主原创文章,未经博主允许不得转载。

meta标签的作用及整理

欢迎访文我的博客YangChen’s Blogmeta的标签的使用是我在前端学习中曾经困惑过一段时间的问题。一方面不是很了解meta标签的用途,另一方面是对于meta标签里的属性和值不是懂,也不知道从...
  • yc123h
  • yc123h
  • 2016年05月09日 21:00
  • 6227

html meta标签使用总结

之前学习前端中,对meta标签的了解仅仅只是这一句。 meta charset="UTF-8"> 但是打开任意的网站,其head标签内都有一列的meta标签。比如我博客的。 但是...
  • h330531987
  • h330531987
  • 2017年04月11日 01:40
  • 956

meta标签大全(荐)

html的meta总结(常用) 1、大全
  • qq_16559905
  • qq_16559905
  • 2016年04月18日 19:27
  • 1706

<meta>标签用法,不看会后悔!

http-equiv META标签分两大部分:HTTP标题信息(HTTP-EQUIV)和页面描述信息(NAME)。 ★HTTP-EQUIV HTTP-EQUIV类似于HTTP的头部协议,它回应给...
  • u011089523
  • u011089523
  • 2016年11月23日 21:50
  • 1553

常用网页头部meta标签收集和整理

元素 概要 标签提供关于HTML文档的元数据。元数据不会显示在页面上,但是对于机器是可读的。它可用于浏览器(如何显示内容或重新加载页面),搜索引擎(关键词),或其他 web 服务。 ——W3Sch...
  • English0523
  • English0523
  • 2015年04月13日 11:44
  • 1267

Meta viewport (视口元信息标签)

前几天在研究移动版开发时,意外查阅到了PPK大神的关于viewport(视口)的研究文档,但无奈全是英文,只好硬着头皮看下去,并顺便试着翻译一下,以备日后回顾。 本人水平有限,如翻译错误,欢迎...
  • aiolos1111
  • aiolos1111
  • 2016年07月18日 13:25
  • 3016

html meta标签大全

整理一下经常用到的 meta 方便忘记的时候来查找一下keywords,description(经常用到的两个)页面的关键字和描述,是写给搜索引擎看的,关键字可以有多个用 ‘,’号隔开 ...
  • ts472960087
  • ts472960087
  • 2015年05月21日 12:50
  • 3601

WebApp网站有关meta标签

一、大众机型常用meta标签name的设置 1、name之viewport 说明:屏幕的缩放content的几个属性: width viewport的宽度[device-width ...
  • xw505501936
  • xw505501936
  • 2015年11月12日 15:22
  • 959

WebApp开发Meta标签解析

WebApp全屏模式:注意:viewport 后面加上 minimal-ui 在safri 体现效果
  • zhu1500527791
  • zhu1500527791
  • 2016年11月10日 19:17
  • 1243

关于h5中meta标签的使用

制作手机版网站的时候,除了页面简洁、操作方便等访问者可以看到的地方以外,就是 Meta 标签的设置,合理设置 Meta 标签 对手机版网站的搜索引擎优化,手机浏览器的渲染展示都有非常大的帮助。对于...
  • yeyufuqiu
  • yeyufuqiu
  • 2016年02月01日 10:34
  • 3659
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Meta标签中的robots标签
举报原因:
原因补充:

(最多只允许输入30个字)