最近对网络爬虫比较感兴趣,想动手写一个,看看别人的先:
————————————————————————————————————————————————————————————————————————————
Java网络爬虫的实现
记得在刚找工作时,隔壁的一位同学在面试时豪言壮语曾实现过网络爬虫,当时的景仰之情犹如滔滔江水连绵不绝。后来,在做图片搜索时,需要大量的测试图片,因此萌生了从Amazon中爬取图书封面图片的想法,从网上也吸取了一些前人的经验,实现了一个简单但足够用的爬虫系统。
记得在刚找工作时,隔壁的一位同学在面试时豪言壮语曾实现过网络爬虫,当时的景仰之情犹如滔滔江水连绵不绝。后来,在做图片搜索时,需要大量的测试图片,因此萌生了从Amazon中爬取图书封面图片的想法,从网上也吸取了一些前人的经验,实现了一个简单但足够用的爬虫系统。
网络爬虫是一个自动提取网页的程序,它为搜索引擎从万维网上下载网页,是搜索引擎的重要组成,其基本架构如下图所示:
![](https://i-blog.csdnimg.cn/blog_migrate/263359a40f5734f9f6605b8492658272.png)
传统爬虫从一个或若干初始网页的URL开始,获得初始网页上的URL,在抓取网页的过程中,不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。对于垂直搜索来说,聚焦爬虫,即有针对性地爬取特定主题网页的爬虫,更为适合。
本文爬虫程序的核心代码如下:
Java代码
- public void crawl() throws Throwable {
- while (continueCrawling()) {
- CrawlerUrl url = getNextUrl(); //获取待爬取队列中的下一个URL
- if (url != null) {
- printCrawlInfo();
- String content = getContent(url); //获取URL的文本信息
- //聚焦爬虫只爬取与主题内容相关的网页,这里采用正则匹配简单处理
- if (isContentRelevant(content, this.regexpSearchPattern)) {
- saveContent(url, content); //保存网页至本地
- //获取网页内容中的链接,并放入待爬取队列中
- Collection urlStrings = extractUrls(content, url);
- addUrlsToUrlQueue(url, urlStrings);
- } else {
- System.out.println(url + " is not relevant ignoring ...");
- }
- //延时防止被对方屏蔽
- Thread.sleep(this.delayBetweenUrls);
- }
- }
- closeOutputStream();
- }
整个函数由getNextUrl、getContent、isContentRelevant、extractUrls、addUrlsToUrlQueue等几个核心方法组成,下面将一一介绍。先看getNextUrl:
Java代码
![复制代码](https://i-blog.csdnimg.cn/blog_migrate/4f340780db33dc63ed4845bf0737495b.gif)
- private CrawlerUrl getNextUrl() throws Throwable {
- CrawlerUrl nextUrl = null;
- while ((nextUrl == null) && (!urlQueue.isEmpty())) {
- CrawlerUrl crawlerUrl = this.urlQueue.remove();
- //doWeHavePermissionToVisit:是否有权限访问该URL,友好的爬虫会根据网站提供的"Robot.txt"中配置的规则进行爬取
- //isUrlAlreadyVisited:URL是否访问过,大型的搜索引擎往往采用BloomFilter进行排重,这里简单使用HashMap
- //isDepthAcceptable:是否达到指定的深度上限。爬虫一般采取广度优先的方式。一些网站会构建爬虫陷阱(自动生成一些无效链接使爬虫陷入死循环),采用深度限制加以避免
- if (doWeHavePermissionToVisit(crawlerUrl)
- && (!isUrlAlreadyVisited(crawlerUrl))
- && isDepthAcceptable(crawlerUrl)) {
- nextUrl = crawlerUrl;
- // System.out.println("Next url to be visited is " + nextUrl);
- }
- }
- return nextUrl;
- }
更多的关于robot.txt的具体写法,可参考以下这篇文章:
http://www.bloghuman.com/post/67/
getContent内部使用apache的httpclient 4.1获取网页内容,具体代码如下:
Java代码
- private String getContent(CrawlerUrl url) throws Throwable {
- //HttpClient4.1的调用与之前的方式不同
- HttpClient client = new DefaultHttpClient();
- HttpGet httpGet = new HttpGet(url.getUrlString());
- StringBuffer strBuf = new StringBuffer();
- HttpResponse response = client.execute(httpGet);
- if (HttpStatus.SC_OK == response.getStatusLine().getStatusCode()) {
- HttpEntity entity = response.getEntity();
- if (entity != null) {
- BufferedReader reader = new BufferedReader(
- new InputStreamReader(entity.getContent(), "UTF-8"));
- String line = null;
- if (entity.getContentLength() > 0) {
- strBuf = new StringBuffer((int) entity.getContentLength());
- while ((line = reader.readLine()) != null) {
- strBuf.append(line);
- }
- }
- }
- if (entity != null) {
- entity.consumeContent();
- }
- }
- //将url标记为已访问
- markUrlAsVisited(url);
- return strBuf.toString();
- }
对于垂直型应用来说,数据的准确性往往更为重要。聚焦型爬虫的主要特点是,只收集和主题相关的数据,这就是isContentRelevant方法的作用。这里或许要使用分类预测技术,为简单起见,采用正则匹配来代替。其主要代码如下:
Java代码
- public static boolean isContentRelevant(String content,
- Pattern regexpPattern) {
- boolean retValue = false;
- if (content != null) {
- //是否符合正则表达式的条件
- Matcher m = regexpPattern.matcher(content.toLowerCase());
- retValue = m.find();
- }
- return retValue;
- }
extractUrls的主要作用,是从网页中获取更多的URL,包括内部链接和外部链接,代码如下:
Java代码
- public List extractUrls(String text, CrawlerUrl crawlerUrl) {
- Map urlMap = new HashMap();
- extractHttpUrls(urlMap, text);
- extractRelativeUrls(urlMap, text, crawlerUrl);
- return new ArrayList(urlMap.keySet());
- }
- //处理外部链接
- private void extractHttpUrls(Map urlMap, String text) {
- Matcher m = httpRegexp.matcher(text);
- while (m.find()) {
- String url = m.group();
- String[] terms = url.split("a href=\"");
- for (String term : terms) {
- // System.out.println("Term = " + term);
- if (term.startsWith("http")) {
- int index = term.indexOf("\"");
- if (index > 0) {
- term = term.substring(0, index);
- }
- urlMap.put(term, term);
- System.out.println("Hyperlink: " + term);
- }
- }
- }
- }
- //处理内部链接
- private void extractRelativeUrls(Map urlMap, String text,
- CrawlerUrl crawlerUrl) {
- Matcher m = relativeRegexp.matcher(text);
- URL textURL = crawlerUrl.getURL();
- String host = textURL.getHost();
- while (m.find()) {
- String url = m.group();
- String[] terms = url.split("a href=\"");
- for (String term : terms) {
- if (term.startsWith("/")) {
- int index = term.indexOf("\"");
- if (index > 0) {
- term = term.substring(0, index);
- }
- String s = "http://" + host + term;
- urlMap.put(s, s);
- System.out.println("Relative url: " + s);
- }
- }
- }
- }
如此,便构建了一个简单的网络爬虫程序,可以使用以下程序来测试它:
Java代码
- public static void main(String[] args) {
- try {
- String url = "http://www.amazon.com";
- Queue urlQueue = new LinkedList();
- String regexp = "java";
- urlQueue.add(new CrawlerUrl(url, 0));
- NaiveCrawler crawler = new NaiveCrawler(urlQueue, 100, 5, 1000L,
- regexp);
- // boolean allowCrawl = crawler.areWeAllowedToVisit(url);
- // System.out.println("Allowed to crawl: " + url + " " +
- // allowCrawl);
- crawler.crawl();
- } catch (Throwable t) {
- System.out.println(t.toString());
- t.printStackTrace();
- }
- }
当然,你可以为它赋予更为高级的功能,比如多线程、更智能的聚焦、结合Lucene建立索引等等。更为复杂的情况,可以考虑使用一些开源的蜘蛛程序,比如Nutch或是Heritrix等等,就不在本文的讨论范围了。