基于Jsoup+MongoDB的全站爬虫的实现

最新推荐文章于 2024-01-26 17:33:11 发布
最新推荐文章于 2024-01-26 17:33:11 发布
阅读量114 收藏
点赞数
文章标签： 爬虫 数据库 java
原文链接：https://my.oschina.net/u/1240328/blog/391699
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

基本思路：

1、初始化一个或者多个入口链接为初始状态到链接表

2、爬虫爬取的黑名单和白名单，只有匹配白名单中的某一个且不匹配黑名单中的任何一个的链接才能通过

3、从链接表中取链接并置为下载状态，下载该链接的网页

4、把下载到的网页插入到内容表

5、从获取的网页中解析出链接，根据2中的规则过滤不需要的链接，把需要的链接以初始状态插入到连接表

6、把该链接置为已下载状态

然后循环步骤3、4、5、6，如果步骤3下载失败，则链接处于下载状态，并跳过该链接继续循环


代码实现

黑白名单

package com.data;

import java.io.BufferedReader;
import java.io.FileInputStream;
import java.io.InputStreamReader;
import java.util.ArrayList;
import java.util.List;

/**
 * 
 * @author yun
 * @date 2015年3月25日
 * @time 上午11:01:57
 * @todo 黑白名单
 * 
 */
public class Regex {

	private List<String> blackList = new ArrayList<String>();

	private List<String> whiteList = new ArrayList<String>();

	public Regex(String blackPath, String whitePath) {
		try (FileInputStream fis = new FileInputStream(blackPath);
			InputStreamReader isr = new InputStreamReader(fis);
			BufferedReader br = new BufferedReader(isr)) {
			String line;
			while ((line = br.readLine()) != null) {
				line = line.trim();
				if (line.length() == 0) {
					continue;
				}
				blackList.add(line);
			}
		} catch (Exception e) {
			System.out.println("读取黑名单出现异常：" + e.getMessage());
		}
		try (FileInputStream fis = new FileInputStream(whitePath);
			InputStreamReader isr = new InputStreamReader(fis);
			BufferedReader br = new BufferedReader(isr)) {
			String line;
			while ((line = br.readLine()) != null) {
				line = line.trim();
				if (line.length() == 0) {
					continue;
				}
				whiteList.add(line);
			}
		} catch (Exception e) {
			System.out.println("读取黑名单出现异常：" + e.getMessage());
		}
	}

	public List<String> getBlackList() {
		return blackList;
	}

	public void setBlackList(List<String> blackList) {
		this.blackList = blackList;
	}

	public List<String> getWhiteList() {
		return whiteList;
	}

	public void setWhiteList(List<String> whiteList) {
		this.whiteList = whiteList;
	}

}


正则匹配

package com.data;

/**
 *
 * @author yun
 * @date 2015年3月25日
 * @time 上午11:02:01
 * @todo 规则匹配
 *
 */
public class Global {

	public static boolean regex(String target, Regex regex) {
		for (String black : regex.getBlackList()) {
			if (!matches(target, black)) {
				continue;
			}
			return false;
		}
		for (String white : regex.getWhiteList()) {
			if (!matches(target, white)) {
				continue;
			}
			return true;
		}
		return false;
	}

	private static boolean matches(String target, String regex) {
		String[] splits = regex.split("\\{");
		if (splits.length == 0) {
			return target.equals(regex);
		}
		if (splits[0].length() != 0 && !target.startsWith(splits[0])) {
			return false;
		}
		target = target.substring(splits[0].length());
		if (splits.length < 2) {
			return true;
		}
		for (int x = 1; x < splits.length; x++) {
			target = matcheSplit(target, splits[x]);
			if (target == null) {
				return false;
			}
		}
		if (target.length() != 0) {
			return false;
		}
		return true;
	}
	
	private static String matcheSplit(String target, String split) {
		String regex = getMatches(split.substring(0, split.indexOf("}")));
		if (regex == null) {
			return null;
		}
		String splitEnd = split.substring(split.indexOf("}") + 1);
		if (splitEnd.length() == 0) {
			return target.matches(regex) ? "" : null;
		}
		if (!target.contains(splitEnd)) {
			return null;
		}
		String targetStart = target.substring(0, target.indexOf(splitEnd));
		target = target.substring(target.indexOf(splitEnd));
		if (!targetStart.matches(regex)) {
			return null;
		}
		if (!target.startsWith(splitEnd)) {
			return null;
		}
		return target.substring(splitEnd.length());
	}
	
	private static String getMatches(String str) {
		switch (str) {
		case "d+":
			return "\\d+";
		case "d":
			return "\\d";
		case "*":
			return ".*";
		default:
			return null;
		}
	}
}


爬虫类

package com.data;

import java.io.IOException;
import java.net.UnknownHostException;
import java.util.Date;
import org.jsoup.Connection;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import com.data.util.Hash;
import com.data.util.ZLib;
import com.mongodb.BasicDBObject;
import com.mongodb.DBCollection;
import com.mongodb.DBObject;
import com.mongodb.MongoClient;

/**
 *
 * @author yun
 * @date 2015年3月25日
 * @time 上午10:54:49
 * @todo 爬虫
 *
 */
public class Spider {

	private BasicDBObject update = new BasicDBObject("$set", new BasicDBObject("status", 1));
	private BasicDBObject query = new BasicDBObject("status", 0);
	private MongoClient server;
	private Regex regex;
	
	public static void main(String[] args) {
		try {
			new Spider().execute();
		} catch (Exception e) {
			System.out.println(e.getMessage());
		}
	}
	
	public void execute() throws InterruptedException {
		init();
		
		Thread[] threads = new Thread[Config.THREAD_COUNT];
		for (int x = 0; x < threads.length; x++) {
			threads[x] = new Thread(new Crawl());
			threads[x].start();
		}

		for (int x = 0; x < threads.length; x++) {
			threads[x].join();
		}
		
		server.close();
		
		System.out.println("end");
	}
	
	private void init() {
		try {
			server = new MongoClient(Config.HOST);
		} catch (UnknownHostException e) {
			System.out.println(e.getMessage());
			return;
		}
		loadConfig();
	}
	
	public synchronized void loadConfig() {
		String blackPath = Config.BLACK;
		String whitePath = Config.WHITE;
		regex = new Regex(blackPath, whitePath);
	}
	
	private void analysisUrls(Document doc) {
		Elements select = doc.select("a[href]");
		for (Element link : select) {
			String url = link.absUrl("href");
			if (!Global.regex(url, regex)) {
				continue;
			}
			saveUrl(url);
		}
	}
	
	private void saveUrl(String url) {
		if (url.contains("#")) {
			url = url.substring(0, url.indexOf("#"));
		}
		DBCollection collection = server.getDB(Config.DB).getCollection("url");
		BasicDBObject doc = new BasicDBObject();
		doc.append("url", url);
		doc.append("md5", Hash.getMd5String(url.getBytes()));
		doc.append("status", 0);
		doc.append("date", new Date());
		try {
			collection.insert(doc);
		} catch (Exception e) {
			return;
		}
	}
	
	class Crawl implements Runnable {
		
		@Override
		public void run() {
			DBCollection collection = server.getDB(Config.DB).getCollection("url");
			while (true) {
				DBObject find = collection.findAndModify(query, update);
				if (find == null) {
					break;
				}
				String url = find.get("url").toString();
				Connection connect = Jsoup.connect(url).timeout(30000).followRedirects(true);
				Document doc = null;
				try {
					doc = connect.get();
				} catch (IOException e) {
					System.out.println("crawl >> " + url + " >> " + e.getMessage());
					continue;
				}
				System.out.println("crawl >> " + url);
				if (doc == null) {
					continue;
				}
				commitUrl(url);
				analysisUrls(doc);
				commitContent(doc.html(), url);
			}
		}
	}

	private void commitUrl(String url) {
		DBCollection collection = server.getDB(Config.DB).getCollection("url");
		BasicDBObject query = new BasicDBObject();
		query.put("url", url);
		BasicDBObject update = new BasicDBObject();
		BasicDBObject modify = new BasicDBObject();
		modify.put("status", 2);
		update.put("$set", modify);
		collection.update(query, update, true, true);
	}
	
	private void commitContent(String content, String url) {
		try {
			DBCollection collection = server.getDB(Config.DB).getCollection("content");
			BasicDBObject doc = new BasicDBObject();
			doc.append("url", url);
			doc.append("data", ZLib.compress(content.getBytes(Config.CHARSET)));
			doc.append("md5", Hash.getMd5String(url.getBytes()));
			doc.append("date", new Date());
			collection.insert(doc);
		} catch (Exception e) {
			return;
		}
	}
}


配置类

package com.data;

public class Config {
	
	public static String HOST = "192.168.16.215";

	public static String DB = "stipo";
	
	public static String ENTRYS = "D:/regex/" + DB + "/entry";
	
	public static String CHARSET = "UTF-8";
	
	public static String BLACK = "D:/regex/" + DB + "/black";
	
	public static String WHITE = "D:/regex/" + DB + "/white";
	
	public static int THREAD_COUNT = 5;
	
}

黑名单(black)

{*}#
mailto{*}
{*}.pdf

白名单(white)

http://www.stipo.gov.cn/flfgx.asp?id={d+}&pageno=&lx={*}
http://www.stipo.gov.cn/newx.asp?id={d+}&pageno=&lx={*}
http://www.stipo.gov.cn/sgjfzl.asp?id={d+}&pageno=&lx={*}
http://www.stipo.gov.cn/newx.asp?id={d+}&pageno={d+}&lx={*}

入口(entry)

http://www.stipo.gov.cn/flfg.asp
http://www.stipo.gov.cn/new.asp?lb2=%CD%A8%D6%AA%B9%AB%B8%E6
http://www.stipo.gov.cn/sgjf.asp
http://www.stipo.gov.cn/new.asp?lb2=%CD%A8%D6%AA%B9%AB%B8%E6&pageno={2-13}

初始化表和入口

package com.data;

import java.io.BufferedReader;
import java.io.FileInputStream;
import java.io.InputStreamReader;
import java.net.UnknownHostException;
import java.util.Date;
import com.data.util.Hash;
import com.mongodb.BasicDBObject;
import com.mongodb.DBCollection;
import com.mongodb.MongoClient;

public class Init {

	public static void initUrlCollection(MongoClient server) {
		DBCollection collection = server.getDB(Config.DB).getCollection("url");
		BasicDBObject url_ = new BasicDBObject();
		url_.put("url", 1);
		collection.ensureIndex(url_, "url_", true);
		BasicDBObject status_ = new BasicDBObject();
		status_.put("status", 1);
		collection.ensureIndex(status_, "status_");
	}

	public static void initContentCollection(MongoClient server) {
		DBCollection collection = server.getDB(Config.DB).getCollection("content");
		BasicDBObject url_ = new BasicDBObject();
		url_.put("url", 1);
		collection.ensureIndex(url_, "url_", true);
	}

	public static void initEntry(MongoClient server) {
		DBCollection collection = server.getDB(Config.DB).getCollection("url");
		try (FileInputStream fis = new FileInputStream(Config.ENTRYS);
			InputStreamReader isr = new InputStreamReader(fis);
			BufferedReader br = new BufferedReader(isr)) {
			String line;
			while ((line = br.readLine()) != null) {
				line = line.trim();
				if (line.length() == 0) {
					continue;
				}
				if (line.contains("{")) {
					addAll(collection, line);
					continue;
				}
				add(collection, line);
			}
		} catch (Exception e) {
			System.out.println("读取黑名单出现异常：" + e.getMessage());
		}
	}
	
	private static void addAll(DBCollection collection, String line) {
		String se = line.substring(line.indexOf("{") + 1, line.indexOf("}"));
		int start = Integer.parseInt(se.substring(0, se.indexOf("-")));
		int end = Integer.parseInt(se.substring(se.indexOf("-") + 1));
		for (int x = start; x <= end; x++) {
			String url = line.replace("{" + se + "}", String.valueOf(x));
			add(collection, url);
		}
	}

	private static void add(DBCollection collection, String line) {
		BasicDBObject entry = new BasicDBObject();
		entry.put("url", line);
		entry.put("status", 0);
		entry.put("md5", Hash.getMd5String(line.getBytes()));
		entry.put("date", new Date());
		collection.insert(entry);
	}

	public static void main(String[] args) throws UnknownHostException {
		MongoClient server = new MongoClient(Config.HOST);
		System.out.println("初始化链接表...");
		initUrlCollection(server);
		System.out.println("初始化内容表...");
		initContentCollection(server);
		System.out.println("初始化入口链接...");
		initEntry(server);
	}
	
}


初始化后，运行爬虫类

运行步骤如下

1、先运行Init类

162614_whzE_1240328.jpg

2、运行爬虫Spider

163924_CEvQ_1240328.png

数据库中数据效果如下

164015_jqbX_1240328.png

总结：

1、全站爬取不适合用于需要登录、需要验证

2、封IP的网站也不太适合，如果这个做成分布式的，可以一定的程度上解决封IP的问题

3、黑名单设置严格些，可以有效的避免无效网页

转载于:https://my.oschina.net/u/1240328/blog/391699

weixin_33912638
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
java基于jsoup+mongodb的简单爬虫入门程序
01-07
**Java基于Jsoup+MongoDB的简单爬虫入门程序** 在现代互联网环境中，数据的获取与分析变得至关重要，而爬虫技术就是实现这一目标的重要工具。本教程将介绍如何使用Java编程语言，结合Jsoup库进行网页抓取，并利用...
一口气学会爬虫之Jsoup
weixin_36723038的博客
02-26 1160
Jsoup是一款 Java 的 HTML 解析器，可直接解析某个 URL 地址、HTML 文本内容。它提供了一套非常省力的 API，可通过 DOM，CSS 以及类似于 jQuery 的操作方法来取出和操作数据。 jsoup 的主要功能如下： 从一个 URL，文件或字符串中解析 HTML； 使用 DOM 或 CSS 选择器来查找、取出数据； 可操作 HTML 元素、属性、文本； 引入依赖包 <dependency> <groupId>org.jsoup</groupId&g
Jsoup - 【Java爬虫】- 批量下载指定网站图片
最新发布
秋玄的博客
01-26 648
自动下载指定网站所有图片
JAVA Jsoup爬取网页图片下载到本地
qq_40618664的博客
03-06 1479
添加jsoup依赖 <dependency> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifactId> <version>1.9.2</version> </dependency> package im.bide.u...
XML案例——Jsoup网页爬虫 & XML配置参数
长夜漫漫，无心睡眠
02-05 1046
活着
jsoup 获取不到全部html_爬虫学习之Jsoup简单练习
weixin_28304023的博客
11-29 738
Jsoup抓取网页后，需要对网页解析，可以使用字符串处理工具解析页面，也可以使用正则表达式jsoup 的作用：是一款 Java 的HTML 解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于JQuery的操作方法来取出和操作数据jsoup的主要功能如下：1.从一个URL，文件或字符串中解析HTML；2.使用DOM或CSS选择器来查找、取...
基于java+Jsoup+HttpClient的网络爬虫技术的网络新闻分析系统设计与实现（源码+文档）网络爬虫_数据挖掘.zip
06-30
资源名字：基于java+Jsoup+HttpClient的网络爬虫技术的网络新闻分析系统设计与实现（源码+文档）_MySQL_网络爬虫_数据挖掘.zip 资源内容：项目全套源码+完整文档 源码说明： 全部项目源码都是经过测试校正后百分百...
jsoup+httpclient j简单爬虫
07-05
JavaScript Object Notation (JSON) Soup 和 HttpClient 是两个在Java开发中常用于实现爬虫功能的库。JSoup 提供了方便的 API 用于解析 HTML 文档，而 HttpClient 则是 Apache 开源组织提供的一个用于执行 HTTP 请求...
spring boot+java +jsoup+ 爬虫
03-30
在此项目中，Java是实现爬虫逻辑的主要工具。 Jsoup 是一个Java库，用于解析HTML并提取结构化数据。它提供了强大的CSS选择器和类似于DOM的API，使得处理HTML文档变得简单。通过Jsoup，我们可以方便地定位到网页中的...
Java爬虫Jsoup+httpclient获取动态生成的数据
10-19
主要介绍了Java爬虫Jsoup+httpclient获取动态生成的数据的相关资料,需要的朋友可以参考下
java爬虫，无限下一页无限下载图片jsoup实现
Is_Reader的博客
06-12 53
java爬虫，无限下一页无限下载图片jsoup实现
使用Jsoup批量下载code.google.com上的Cocos2dx学习DEMO
01-21 2878
网上关于cocos2dx游戏源码的例子太少了 搜了一圈后想去code.google.com上找找 还真不少 估计是用的很老的版本了 不过肯定有值得学习的地方 下了几个觉得手动下载太费劲了 于是乎 骨头动了邪念。。。 骨头最熟悉Java 所以用Java中Jsoup来抓取 这是正在运行中的机器人控制台： Succeeded connecting to the Datab
jsoup解析文件存入本地mongodb数据库
qq_36267979的博客
11-16 278
mongodb jsoup
java mongodb_MongoDB Java Servlet Web应用程序示例教程
从零开始的教程世界
07-09 641
java mongodbWelcome to MongoDB Web Application example. Earlier in MongoDB Java Example we learned how to use MongoDB java driver in standalone application. Today we are moving forward to integrate Mo...
jsoup爬虫,爬取全站代码
呆萌的代Ma
11-01 1651
最近使用jsoup扒了几个网站,感觉bug改的差不多了,于是写出来与大家分享. 首先我会把爬虫基础的爬取思路与部分重要方法展示出来,最后我会把全部代码贴出来.并且我会写一个Main类,里面就是爬虫的模板,改一下目标网站的url和一些有注释的参数就行了 maven依赖: jsoup爬虫需要maven的依赖包: org.jsoup jsoup 1.10.3 爬
基于Spring Boot框架+Jsoup实现网络爬虫
qq_33552451的博客
11-10 8684
基于Spring Boot框架+Jsoup实现网络爬虫 1.背景 最近在项目中需要用到天眼查里面的企业数据，然后就研究了一下使用Jsoup爬取数据的方法，为了以后查找方便以及与更多热爱技术的朋友交流就想到了写一篇技术博客的想法，如果有不对的地方请各位大神指教。 2…预备知识 [1] 对于不太了解spring boot框架的朋友可以参考链 接:https://www.cnblogs....
Okhttp+Jsoup爬取网页存储到Mongo的简单实现
御剑长歌的博客
02-20 798
工具IntelliJ Idae Maven &lt;dependencies&gt; &lt;dependency&gt; &lt;groupId&gt;org.jsoup&lt;/groupId&gt; &lt;artifactId&gt;jsoup&lt;/artifactId&gt; &lt;version&gt;1.11.3&lt;/ver
httpclient4.5+disruptor3.3.2+mongodb3.2+jsoup写的一个抓取小程序
jiangjun_3567031的博客
01-14 837
最近由于工作上接手了一个storm的系统，storm采用dubbo接口接收数据，存队列，这里队列用的是jdk自带的阻塞队列ArrayBlockQueue，再做了几轮压测之后发现ArrayBlockQueue队列存在性能瓶颈。经老大介绍可以尝试disruptor； disruptor是一个开源的无锁队列，性能非常强悍，具体强悍到什么地步大家可以自测一下； 但disruptor还是不适用于我们的系
jsoup++获取图片
11-07
要使用Jsoup获取图片，可以按照以下步骤进行操作： 1. 使用Jsoup.connect()方法连接到指定的URL。 2. 使用Jsoup.parse()方法解析HTML文档。 3. 使用doc.select()方法选择包含图片的元素。 4. 使用element.attr()方法...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值