通用网络爬虫的策略

常用的爬行策略有：深度优先策略、广度优先策略。
1）深度优先策略：其基本方法是按照深度由低到高的顺序，依次访问下一级网页链接，直到不能再深入为止。
2）广度优先策略：此策略按照网页内容目录层次深浅来爬行页面，处于较浅目录层次的页面首先被爬行。