《网站流量大提速》精选4----第10章：站点收录（结选1）

第10章 站点收录
     “参加才会赢，”这是博彩业广告用语，这话确实有道理。中奖者确实必须先买张彩票，否则他们根本不可能赢。要赢得自然搜索的大奖，你的站点也需要买张票 ——你需要让自己的站点页面被收录。被收录的页面越多，你赢得搜索彩票大奖的机会越大。要振作起来，因为比起爱尔兰赌马，你有更高的几率来赢得搜索的博彩 大奖。
      但是，要赢就需要知道游戏规则——要按规矩出牌。在搜索的博彩中，你得学习并理解蜘蛛程序是怎么玩的，因此你的站点也要按他们的规矩来。如果知道什么是蜘 蛛程序不能做和不会做的之后，你就可以让站点不和这些规则冲突。这是因为当你违反蜘蛛程序的规则时，网页就不会被收录。而如果网页不被收录，搜索者就找不 到它。
      听起来似乎简单，但是让搜索引擎收录你的网页，对公司网站来说将是个挑战。公司网站经常在设计的时候没有考虑过蜘蛛程序的规则。因此他们的网页经常被搜索 索引库所遗漏。由于你要开展自然搜索营销工作，要使得网页被索引库所收录是你要做的第一步，需要你的团队花些时间来改正所发现的问题。你需要查看是否网页 已经被收录，如果没有的话看看哪里出问题了，并改正这些问题。

本章回答了三个基本问题:
1 如果站点没有被收录会怎样? 大多数公司网站至少有几个网页被收录,但是有些站点根本没有网页被收录。我们将告诉你如何检查站点，并且告诉你，如果出现一个网页都没有收录的极端情况时该怎么办？
2 网站有多少网页被收录？ 在第7章里，我们对你第一个营销活动的登陆页面是否被收录进行过评估。在这个部分，我们将查看整个站点来看状态怎样。
3 怎样使更多的网页被收录? 这是要回答的最重要的问题。什么问题使你的网站妨碍了这些网页被收录，然后能做些什么来亡羊补牢？
       请记住，对自然搜索而言，搜索者找不到索引库中没有的页面。本章帮助你在每个搜索索引库中尽可能多地收录网页。让我们从一个不常见、但重要的情况开始——如果你的站点没被收录怎么办？

如果站点没被收录怎么办？
      如果你的业务已经运营了一段时间并且有一个网站，你的站点非常有可能已经被所有主要的搜索引擎来收录。虽然搜索索引库经常“漏掉”一个站点的个别网页，但很难“遗忘”公司的整个站点。（我们会在本章后面向你介绍是怎么知道的。）
      检查站点是否被索引的方法是搜索它，并看是否能找到。（是的，我们认为你想到了这种方法。）如果你的公司有个普通的名字(“AAA”铅工业)，你可能想要 不单是搜索名字（某地的“AAA”铅工业）。当针对公司名字的导航型的搜索结果中没有出现自己的公司时，这些公司站点的人通常会感到恐慌。很容易断定整个 站点没有被收录，其实这种情况很少会发生。
     你也可以在浏览器上使用搜索工具栏来检查是否找得到你的网页。如果你使用Google（或一个其他搜索引擎的）工具栏，你可以浏览首页并且看看工具栏—— 大多数工具栏用某种方式显示网页已经被收录了。图表10-1显示Google工具栏是怎样做的。你可以看到是否你的站点被那种工具栏的搜索引擎收录，虽然 并不能显示出是否你的网页被其他搜索引擎收录。（本章随后部分将教你怎么做。）

      主要搜索索引库大致找得到所有公司网站的首页(而且至少还有其他几个网页),但是如果真的没找到，请继续往下读。（这是不大可能的，但是有可能你的站点确 实缺少些必要的行动——就不能被找到了，大公司也会的。）或许你的搜索营销计划的范围并不覆盖整个公司，但是所有范围之内的网页都从搜索引擎中丢失了。在 这种情况下，我们需要问几个问题：
1 你的站点是否被搜索引擎封杀？搜索引擎依据非常具体的规则来将页面添加到索引库。犯规站点的所有网页会从索引库中删除。
2 蜘蛛程序访问你的站点了么？如果蜘蛛程序从来不访问你的网页，当然不可能被索引。检查并确认是否如此。
3 其他站点是否链接到你的网站？蜘蛛程序通过其他站点的链接进入你的网站，因此你必须确保自己的站点链接到大型网站。
      在主要搜索引擎上进行搜索的时候，如果多少找得到几个自己网站的网页，可以跳过下面几个部分。但是如果你的站点根本不能被找到，就可以研究这几个部分来解决问题。

确认站点是否被封杀
       最糟糕的情况是一个或多个搜索引擎一起封杀你的网站。如果有几个搜索引擎找得到你的站点，但是其他的却找不到，你的站点可能是受限制了。当搜索引擎发觉网站在企图“愚弄”搜索引擎来提升站点排名时，站点就会被限制。
        搜索引擎不会无缘无故地限制一个网站——它们只有当你的站点持续违反搜索引擎的规矩时才会这么做。如你猜的那样，有些搜索引擎营销人员是肆无忌惮地力图通 过作弊来获利。被可能是不良搜索营销顾问公司使用垃圾信息（spam）技术来愚弄搜索引擎，而你的公司在不知情的情况下遭受连累；你也可能无意违反了搜索 引擎的某个管理条例。（你可以在http://www.google.com/webmasters/guidelines.html上看到有关的管理条 例，其他的搜索引擎也有类似的规矩。）
        如果你的违规行为并没有严重到封杀网站，你仍然会遭受一些惩罚——这时搜索引擎会从索引库中拿掉大量你的网页或者开始降低你的搜索排名。你应该定期地查看惩罚的迹象（我们会在第15章介绍怎么做）并且在出现下面情况时进行深入调查：
1 通过搜索引擎对站点的访问量短时间内急剧下降。
2 站点收录在搜索索引库中的网页数量迅速下降。
3 搜索引擎每个月的链接数量越来越少，甚至为0。一个简单的方法是使用Google工具栏——当你浏览网页时会看到一个灰色的网页排名栏。第13章的内容会教你一种简单的方法来检查每个搜索引擎储存了多少你的网站链接。
4 首页只能通过直接输入网址来搜索到——对网页上关键词的搜索请求也不再奏效了。
        如果你发现这些蛛丝马迹，首先需要确定原因。在本章第二节中，我们将讨论一种称为伪装（cloaking）的作弊技术。我们在第12章将谈论门户页 （doorway pages）、在第13章讨论最常见的链接工厂（link farms）以及其他内容作弊伎俩。如果你的站点因为这些原因而被限制或受罚，你可以清理你的站点并要求复原，通常搜索引擎会同意的（虽然有时候需要一定 的时间来解释和申请才能复原）。

确认蜘蛛程序来访问
        如果蜘蛛程序进不来你的站点，网页就不能被收录，站点也不会被自然搜索者发现。网站管理员可以通过检查网站服务器的日志文件来看哪种搜索蜘蛛程序已经造访 了自己的站点（大多数网站服务器都可以通过设置记录搜索蜘蛛程序的造访，但是有些服务器可能需要网站管理员来调整）。图表10-2显示一个文件的摘录，表 示一个蜘蛛程序已经访问过了。日志文件指出入口网页记录的用户代理（user-agent）的名字，它是用什么程序来看到这个网页的。
         大多数对站点的访问都产生一个日志的列表，例如Mozilla/4.0 (兼容的; MSIE 5.5; Windows NT 5.0)，指出用户采用IE 5.5浏览器来访问你的站点。和你预料的一样，日志文件列出的大多数用户代理来自于互联网浏览器。但是少数的日志文件会显示蜘蛛程序爬过的信息。 “Googlebot”，你可能猜到了，是Google的用户代理。雅虎形象地命名其蜘蛛程序为“Slurp（啜食）”。图表10-1显示了一些主要的蜘 蛛程序代理的名称，但是数量和名称经常发生变化。
        通过检查日志文件，你可以说出哪种蜘蛛程序来过站点，并且它们造访的频率怎样。然而，作弊者出于卑鄙的目的使用这些用户代理的名字。很多大家知道的方法如 伪装（cloaking）和IP发送（IP delivery），他们使用古老的“上钩掉包（低价引诱，并高价销售）”伎俩的高技术版本。原理是这样的：这些作弊者用一个程序动态建立一个网址，等待 其他人来访问。如果收到请求，就去检查用户代理的名字和IP地址。如果是浏览器提出了请求（例如，通过Moliza来浏览名字），这个程序就返回访问者应 该看到的网页。如果是一个搜索引擎的蜘蛛程序，这个程序就会返回一个满是关键词的网页以得到高的搜索排名。本章的后面将讨论何处可以合法使用IP发送方 法，然而使用这种技术针对访客看到的内容来愚弄搜索引擎，是明显的作弊行为，搜索引擎会严厉对待的。除非知道所做的事是可以接受的，伪装是个非常危险的游 戏，会使你的站点被限制。伪装可以快速提高排名，但是当竞争者看到你的所为，他们会向搜索引擎申诉，并让你出局。
       搜索引擎蜘蛛程序按自己的频率回访你站点。蜘蛛程序回访一个一般的站点至少需要一个月，但是热门公司站点就可能每周甚至每天被回访。通过分析蜘蛛程序爬过你网页的频率，以及哪个网页它们查看最多，你会知道站点内容需要被多快更新才会被反映在搜索中。
       蜘蛛程序根本不访问的站点很少，发生这种情况不外以下几种原因：
1 没有链接。如果一个新的站点没有被蜘蛛通路上的其他站点链接，就得不到任何蜘蛛程序的访问。如果搜索引擎蜘蛛程序不知道站点的存在，显然不能被访问。
2 无效链接。有些链接无法通过蜘蛛程序，原因有很多，我们会在本章后边提到。也许到你站点的链接自己也不能被蜘蛛程序爬过，可能因为它们也是新的站点，也可 能因为他们使用了不道德的技术而被限制了。你可以使用Google来检查链接到站点的“PageRank”——显示出你的到链接的价值如何。如果链接网站 的站点排名是0就不太好，因为这个站点没有被Google索引。
3 蜘蛛程序无功而返。也可能有一次蜘蛛程序检查了你的站点，但是你的站点阻止了它对网站内容的收录。在好几个月吃到闭门羹后，蜘蛛程序有时候会抛弃你的站点，再也不登门了。
       如果你的站点果真没有被蜘蛛程序访问，补救方法取决于造成此局面的原因。如果你的站点没有链接或者链接无效，最好的方法是确保著名的站点链接到你的网站上 （下面会详细介绍）。如果蜘蛛程序放弃了访问，首先要撤销针对蜘蛛的陷阱程序（也会在下面解释），然后手动给搜索引擎提交你的站点。
       搜索引擎通常非常乐于通过链接发现新的站点，因为分析链接的模式是搜索引擎判断相关性的一种方法，但是如果站点有链接但蜘蛛程序不能访问，你应该手动提交 首页网址。（如果建立了一个新的站点，但是没有耐心等其他人与你链接，你也可以手动提交，只是通过链接被搜索引擎找到能使排名更高。）