Google (谷歌)中国的博客网志

转载 2011年01月25日 12:56:00

整合网站重复内容

原文:Reunifying duplicate content on your website

转载自:Google 中文网站站长博客


处理网站上的重复内容是一项非常困难的工作。随着网站的发展,必须不断增加、改变或删除各种功能;与此同时,不同的网站内容来了又去。一段时间后,许多网站都会有以多个URL网址形式存在的系统化垃圾代码,这些URL都返回同样的内容。在一般情况下,除了会增加搜索引擎的抓取和索引内容的难度以外,你的网站上存在重复内容并不构成问题。此外,通过导入链接而得到的PageRank以及类似信息可能会在我们尚未确定为重复内容的网页间扩散,导致你的首选网页在谷歌中的排名降低。

处理你的网站内部重复内容的步骤


识别网站上的重复内容。
识别你网站上的重复内容是处理重复内容的第一步,也是最重要的一步。使用一种简单的方法可以实现这个目的,即从网页中选取一段独特的文本代码,然后搜索这段文本,并使用谷歌的site:query将搜索结果限制为自己网站上的网页。如此以来,搜索出的含有同样内容的多个结果就是你需要处理的重复内容。

确定你需要的首选URL网址。
在处理重复内容之前,必须确保你的首选URL网址结构。对于这段内容,你希望使用哪一个URL网址?

保持网站内部的统一性。
选择首选网址之后,确保在你的网站内所有可能的位置上使用他们(包括你的Sitemap文件)。

在必要和可能的情况下使用301永久重定向。
可能的话,可以使用301代码将重复网址重新定向为你选择的网址。此举能够帮助用户和搜索引擎在访问重复URL网址时找到你的首选URL网址。如果你的网站有数个域名,可选择一个域名,使用将其他域名301重定向到这个域名,同时还要确保其转向正确的特定网页,而不仅是域根目录。如果网站同时支持www和非www主机名,可选择其中一种,使用Google网站站长工具中的首选域设置,再进行适当的重定向。

在可能的情况下,在你网页上使用rel="canonical"
在无法使用301重定向的情况下,可以使用rel="canonical",以方便搜索引擎更好地理解你的网站和首选URL网址。Ask.comBingYahoo!等主要搜索引擎都支持这种链接标签的使用。

可能的情况下,在Google网站站长工具中使用URL参数处理工具
如果部分或全部网站重复内容来自带有查询参数的URL网址,则此工具将帮助你将URL内的重要参数和不相关参数通知我们。有关此工具的详细信息可参见我们的博客声明

 

怎样处理robots.txt文件?

使用robots.txt文件来禁止对重复内容进行抓取不在我们推荐的方法之内。我们建议你不要使用robots.txt文件或其他方式来禁止对你网站上的重复内容的访问。你可以使用rel="canonical" 链接标签URL参数处理工具301重定向。如果完全阻止了对重复内容的访问,搜索引擎必须将这些URL作为独立的不同网页处理,因为它们无法分辨出这些URL其实只是指向相同内容的不同网址。更好的解决方法是允许对其进行抓取,同时用我们推荐的方法将这些URL网址明确标记为重复内容。如果你允许我们访问这些URL网址,Google抓取机器人将学会通过查看URL确定其是否为重复内容,在各种情况下都能很好地避免不必要的重复爬行抓取。为了防止重复内容仍然引导我们过多地爬行搜索你的网站,你还可以调整Google网站站长工具里的抓取速度

我们希望这些方法能够帮助控制你的网站上的重复内容。你也可登录我们的帮助中心查看有关重复内容的基本信息。如有任何问题,欢迎你随时进入Google网站站长帮助论坛参加讨论。

原文地址:http://www.google.com.hk/ggblog/googlechinablog/2010/01/blog-post_8816.html

相关文章推荐

给WordPress博客添加百度和Google谷歌地图

当大多数人在网站上找不到自己所需要的信息时,网站地图会作为一种补救措施,将网站内容以目录的形式展现出来。通过网站地图,搜索引擎蜘蛛可以浏览 整个网站的链接、抓取网站页面、清晰了解网站的架构,而且还能加...

2016谷歌重返中国,体验Google中国开发者网站

体验Google中国开发者网站

Hexo+Next主题博客提交百度谷歌收录

关于Hexo博客提交搜索引擎收录网上有很多文章,大同小异,但是针对一些具体问题没有写明注意事项,本文针对Hexo+Next主题的提交过程中出现的一些网上少有提及的Bug进行补充 欢迎访问我的博客交流和...

个人博客:谷歌模拟手机浏览器设置

用谷歌浏览器来模拟手机浏览器上手机网(wap网站) 无意中看到了一个帖子,用谷歌来模拟手机浏览器,且不说速度问题,就页面都感觉超爽,没有广告,而 且全屏,一些网站推出的手机模拟浏览器都只是一个框...

WordPress博客里面放谷歌广告代码

申请谷歌广告很久了,但一直都没怎么管理,也没有啥收入,今天想放一个google adsense广告代码在文章单页的右上角,由于不太懂代码,自己搞了半天,最后还是按照网上说的方法才放上来。 这里是分享...
  • marixh
  • marixh
  • 2012-09-27 12:49
  • 1181

给CSDN博客创建谷歌自定义搜索引擎

CSDN的搜索引擎做的实在是不好,本站的文章主要都是关于Oracle EBS的文章,结果搜索EBS,啥结果都没返回,“很遗憾,没有找到您想要的,换个关键词再试试”,哥不换关键词,哥换个搜索引擎再试试 ...

访问谷歌google官网

找到一种可以访问google的方式,这里与大家分享一下,本人试过,好用,希望对大家有帮助

zhuanzai 中国同乡网博客

人脉——有钱比不过“有人”(2007-10-1717:21) 有些人的商业感觉是天生的,如胡雪岩,更多人的商业感觉则依靠后天培养。如果你有心做一个商人,你就应该像训练猎犬一样训练自己的商业感觉。良好...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)