本文探讨了网站的树结构，并详细解释了深度优先和广度优先这两种爬虫抓取策略。深度优先算法按照递归方式依次处理链接，而广度优先算法则采用队列实现，先抓取起始页所有链接后再扩展到其他页面。Scrapy框架默认使用深度优先策略。
网站的树结构
深度优先算法和实现
广度优先算法和实现
网站的树结构
通过伯乐在线网站为例子：
并且我们通过访问伯乐在线也是可以发现，我们从任何一个子页面其实都是可以返回到首页，所以当我们爬取页面的数据的时候就会涉及到去重的问题，我们需要将爬过的url记录下来，我们将上图进行更改
在爬虫系统中，待抓取URL队列是很重要的一部分，待抓取URL队列中的URL以什么样的顺序排队列也是一个很重要的问题，因为这涉及到先抓取哪个页面，后抓取哪个页面。而决定这些URL排列顺序的方法，叫做抓取策略。
下面是常用的两种策略：深度优先、广度优先
深度优先
深度优先是指网络爬虫会从起始页开始，一个链接一个链接跟踪下去，处理完这条线路之后再转入下一个起始页，继续追踪链接，通过下图进行理解：
注：scrapy默认采用的是深度优先算法
这里是深度优先，所以这里的爬取的顺序式：
A-B-D-E-
最低0.47元/天 解锁文章
827
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
