爬虫-canonical标签是做什么用的？

 

canonical标签是做什么用的？

canonical标签就是告诉搜索引擎哪个页面是权威页面。以我的理解，Canonical标签大致的作用如下。

第一，使用Canonical标签使网址规范化。

第二，避免内容重复页面，搜索引擎收录更准确。

第三，集中传递页面权重。

canonical链接标签只能作用于同一个域名所在的网址，不能作用于不同域名上的重复内容。如果是跨站，可以使用301重定向。

网址不规范，会降低页面权重，是因为搜索引擎会认为页面内容有重复。做法是将这些不规范的网址，指向同一个页面。

比如本文的源代码里面：<link rel=’canonical’ href=’http://huxiaoyi.com/search-engine/20120626.html’ />，就有使用这种标签，我曾经说过：“WordPress分页标题如何显示不同标题”，其实就是为了解决分页重复标题的问题，可现在在诸如wordpress这类的网站程序使用的时候，经常会产生重复页面，虽然可以用robots.txt，可是你懂的，百度很傻，反应不快。我们使用这个标签就能够有效的让搜索引擎知道哪个是标准，哪个是重复页面，不要抓。

其标准用法是：<link rel=’canonical’ href=’http://example.com/’ />

在这里应该使用绝对地址而不是相对地址，因为网站空间如果绑定多个域名的时候&#x