java爬虫抓取网页链接_Java爬虫实战（一）：抓取一个网站上的全部链接

前言：写这篇文章之前，主要是我看了几篇类似的爬虫写法，有的是用的队列来写，感觉不是很直观，还有的只有一个请求然后进行页面解析，根本就没有自动爬起来这也叫爬虫？因此我结合自己的思路写了一下简单的爬虫，测试用例就是自动抓取我的博客网站(http://www.zifangsky.cn)的所有链接。

一 算法简介

程序在思路上采用了广度优先算法，对未遍历过的链接逐次发起GET请求，然后对返回来的页面用正则表达式进行解析，取出其中未被发现的新链接，加入集合中，待下一次循环时遍历。

具体实现上使用了Map，键值对分别是链接和是否被遍历标志。程序中使用了两个Map集合，分别是：oldMap和newMap，初始的链接在oldMap中，然后对oldMap里面的标志为false的链接发起请求，解析页面，用正则取出标签下的链接，如果这个链接未在oldMap和newMap中，则说明这是一条新的链接，同时要是这条链接是我们需要获取的目标网站的链接的话，我们就将这条链接放入newMap中，一直解析下去，等这个页面解析完成，把oldMap中当前页面的那条链接的值设为true，表示已经遍历过了。最后是当整个oldMap未遍历过的链接都遍历结束后，如果发现newMap不为空，则说明这一次循环有新的链接产生，因此将这些新的链接加入oldMap中，继续递归遍历，反之则说明这次循环没有产生新的链接，继续循环下去已经不能产生新链接了，因为任务结束，返回链接集合oldMap

二 程序实现

上面相关思路已经说得很清楚了，并且代码中关键地方有注释&