Meta标签中的robots标签

原创 2016年06月01日 10:57:15

robots.txt是放在网站中,文件级的网络蜘蛛授权;而robots Meta标签是放在网页中,一般用于部分网页需要单独设置的情况下。两者的功能是一样的。

Meta robots标签必须放在和之间,格式:

content中的值决定允许抓取的类型,必须同时包含两个值:是否允许索引(index)和是否跟踪链接(follow,也可以理解为是否允许沿着网页中的超级链接继续抓取)。共有4个参数可选,组成4个组合:

index,follow:允许抓取本页,允许跟踪链接。
index,nofollow:允许抓取本页,但禁止跟踪链接。
noindex,follow:禁止抓取本页,但允许跟踪链接。
noindex,nofllow:禁止抓取本页,同时禁止跟踪本页中的链接。
以上1和4还有另一种写法:

index,follow可以写成all,如:

noindex,nofollow可以写成none,如:

需要注意的是,robots Meta标签很多搜索引擎是不支持的,只有少数搜索引擎能够识别并按给定的值抓取。所以,尽可能的使用robots.txt文件来限制抓取。

最后,给大家一个建议,不要太刻意的在robots.txt中设置过多禁止文件或目录,只设置确实不希望被搜索引擎索引的目录和文件就可以了。

特别是在不清楚文件或目录的作用时,不要轻易禁止抓取。前阵一位做旅游的朋友,网站中有大量的旅游景点图片,几大搜索引擎中却都没有索引,后来对网站检查时发现图片目录upload在管理目录admin下,被robots.txt禁止抓取了。

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

meta-data标签的使用

  • 2012年11月27日 09:52
  • 67KB
  • 下载

用Meta标签代码让360双核浏览器默认极速模式打开网站不是兼容模式(顺带解决很多兼容性问题)

浏览模式 极速模式、兼容模式及IE9高速模式是360浏览器显示网页时使用的三种模式: 表示极速模式 表示兼容模式 表示IE9/IE10模式(仅在安装了IE9或IE10后可用) 360极速浏览...

html的name和meta标签

  • 2014年12月01日 11:38
  • 9KB
  • 下载

html meta标签的应用技巧

Meta标签是用来描述网页属性的一种语言,标准的Meta标签可以便于搜索引擎排序,提高搜索引擎网站权重排名。要想网站做的更符合搜索引擎标准就必须了解meta标签。本文为大家详细介绍meta的使用方法与...

html语言meta标签解析及SEO优化

  • 2008年10月19日 19:02
  • 57KB
  • 下载

网页头部标签meta详解

  • 2008年05月26日 23:36
  • 42KB
  • 下载

关于微信公众号内嵌网页的几个meta标签

 最近在做微信公众平台内嵌app,其实也就是web app="=,不过就是基于微信内置浏览器(safari加了一个WeixinJS对象),稍微记一下几个html的meta标签(web app通用...

Meta标签详解

  • 2008年04月14日 13:07
  • 55KB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Meta标签中的robots标签
举报原因:
原因补充:

(最多只允许输入30个字)