蜘蛛搜索引擎_说说搜索引擎蜘蛛是怎么爬行网站的？

蜘蛛爬行页面是搜索引擎收录页面的前提，搜索引擎爬行网站主要有两种方式：广度优先和深度优先，我们先来了解一下什么是seo从业者常说的搜索引擎深度优先? 广度优先?这两者有什么不同?

深度优先望文生义就是要让搜索引擎蜘蛛尽可能地往网站的深层进行爬取，讲究的是深度!也泛指: 网络蜘蛛会从首页开始，一个链接接着一个链接爬取下去，处理完这条线路之后再转入下一个起始页，持续爬取链接!

深度优先的好处是：网络蜘蛛程序在规划的时间相对比较简略些。深度优先的缺点是：每次抓取一层总要向查找引擎蜘蛛数据库请求一下。请问有必要还要爬下一层吗? 爬一层，问一次.... 引证一句高人的话，如果一个蜘蛛不停，不断往下爬 很可能迷路更有可能爬到国外的网站去.. 这样不只添加了搜索引擎数据的复杂度更是添加的服务器的背负 我想没有一家搜索引擎服务公司会愿意这样吧，除非脑子"秀"了 。

广度优先，蜘蛛在一个页面上发现多个链接的时候，不是顺着一个链接一直往下，而是把页面上全部第一层链接都爬完，然后沿着第二层页面上发现的链接爬向第三层。

广度爬取的好处是:广度相对深度。对数据抓取更简略控制些! 对服务器的负担相应也显着减轻了许多! 爬虫的分布式处理速度会较快， 所以，这也是广度优先为我们遍及人所用的原因。

尽管只需有足够的时间，蜘蛛能够爬取完全部的页面。可是由于互联网的页面实在太多了，每天新建的站又许多，蜘蛛不行能兼顾到每一个网站。所以你得重视自己网站的权重，一般权重低的是只爬取首页 ，不像一般大站一样，蜘蛛是一向守在那里的。

从理论上说，无论是深度优先还是广度优先，只需给蜘蛛足够的时间，都能爬完整个互联网。在实践工作中，没有什么东西是无限的，蜘蛛的带宽资源和蜘蛛的时刻也是一样都是有限的，也不行能爬完全部页面。实践上最大的搜索引擎也只是爬取和收录了互联网的一小部分。