网络蜘蛛采用三种策略来决定抓取网页的先后顺序

基于因特网的搜索引擎是Web Spider的最典型的应用。例如搜索巨头Google和Baidu公司就利用网络机器人程序来遍历Web站点，以创建并维护这些大型数据库。
网络蜘蛛通过超级链接从一个网页迁移到另一个网页来抓取网页，那么其是根据什么来决定抓取网页的先后顺序呢？可以采用三种策略：IP地址搜索策略、广度优先策略和深度优先策略。
所谓IP地址搜索策略，首先网络蜘蛛会获得一个起始的IP地址，然后根据IP地址递增的方式搜索本IP地址段后的每一个IP地址中的网页，它完全不考虑各网页中的超级链接地址。虽然该策略可以搜索到一些没被其他网页引用的网页的信息源，但是却不适合大规模搜索。
所谓广度优先策略，首先网络蜘蛛会先抓取起始网页中链接的所有网页，然后再选择其中的一个链接网页，继续抓取在此网页中链接的所有网页。只有所有起始网页链接页面中的链接页面被抓取完，才会抓取下一层链接页面。该策略在具体实现时，可以使用队列的数据结构，即当发现链接后并不调用自己本身而是把链接加入到等待队列中。当扫描完当前页面后会根据制定的策略访问队列中的下一个超级链接地址。
所谓深度优先策略，首先网络蜘蛛会从起始页开始，一个链接一个链接跟踪下去，处理完这条线路上所有链接页面之后再转入起始页的下一个链接。该策略具体实现时，可以利用递归结构，即在一个方法中调用自己本身的程序设计技术。
当网络蜘蛛采用广度优先策略时，可以采用线程并行的技术，以提高抓取效率，但是在具体实现时比较复杂。当采取深度优先时，虽然可以利用递归结构来实现，但是耗费内存且不能使用多线程技术。