网页头部<meta name="Robots" 用法 <meta系列用法.
有时候会有一些站点内容,不希望被ROBOTS抓取而公开。为了解决这个问题,ROBOTS开发界提供了两个办法:一个是robots.txt,另一个是The Robots META标签。1, 默认是all其中的属性说明如下: 设定为all:文件将被检索,且页面上的链接可以被查询; 设定为none:文件将不被检索,且页面上的链接不可以被查询; 设定为index:文件将被检索;
转载
2014-03-03 16:14:49 ·
1225 阅读 ·
0 评论