Java 实现简单网页小爬虫程序

使用正则表达式实现简单的网页爬虫程序：

 

 

相关 jar 包：dom4j-1.6.1.jar   jaxen-1.1-beta-6.jar

 

 

 

 

Java 源码：

package com.v7.netdpider;

import java.io.BufferedReader;
import java.io.BufferedWriter;
import java.io.File;
import java.io.FileOutputStream;
import java.io.FileReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.OutputStreamWriter;
import java.net.URL;
import java.net.URLConnection;
import java.util.ArrayList;
import java.util.Calendar;
import java.util.Iterator;
import java.util.Scanner;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

/**
 * 
 * @ClassName: NetSpider
 * @Description: TODO 网页爬虫(蜘蛛)
 * @author: V7
 * @date: 2016年4月21日 下午3:34:53
 */
class NetSpider {
	
	public static void main(String[] args) throws Exception {
		Calendar date = Calendar.getInstance(); 

        String uri = "D:" + File.separator + "mail" + File.separator + date.get(Calendar.YEAR) + File.separator + "0" +(date.get(Calendar.MONTH)+1) + File.separator  + date.get(Calendar.DAY_OF_MONTH); 

        //String uri = "D:" + File.separator + "mail" + File.separator + "Email_0.txt";
        // 使用 file类找到一个文件
        File file = new File(uri); 
        
        //System.out.println(file.getAbsolutePath()); 
        //生成 xml
        
		if (!file.isDirectory()) {
			// 文件夹不存在
			System.out.println("指定文件路径不存在，创建文件路径并创建文件：Email_0.txt");
			isnanfile(file);
		} else {
			// 判断文件是否存在
			/*if (file.exists()) {
				
				System.out.println("首文件已存在，创建新的文件");
				newisnanfile(file);
				System.out.println("开始爬取...");
				getMails(file);
			} else {
				System.out.println("首文件不存在，直接写入");
				getMails(file);
			}*/
			//文件夹存在
			System.out.println("指定文件路径存在");
			newisnanfile(file);
		}
	}

	/*
	 * 获取文档中的邮件地址 使用获取功能。Pattern Matcher
	 */
	public static void getMail() throws Exception {
		@SuppressWarnings("resource")
		BufferedReader bufr = new BufferedReader(new FileReader("d:\\mail.txt"));

		String line = null;
		// 规则
		String regex = "[w]{3}\\.\\w+@[a-zA-Z0-9]+(\\.[a-zA-Z]{3}+)";
		Pattern p = Pattern.compile(regex);

		while ((line = bufr.readLine()) != null) {
			Matcher m = p.matcher(line);
			while (m.find()) {
				System.out.println(m.group());
			}
		}
	}

	/*
	 * 爬网页
	 */
	public static void getMails(File file) throws Exception {
		@SuppressWarnings("resource")
		Scanner input = new Scanner(System.in);
		System.out.print("请输入要爬取的网页完整URL:");
		String uri = input.next();
		// URL url = new URL("http://127.0.0.1:8080/webs/res.html");
		URL url = new URL(uri);
		URLConnection conn = url.openConnection();

		BufferedReader buf = new BufferedReader(new InputStreamReader(conn.getInputStream()));

		String line = null;
		// 规则
		// String regex ="[w]{3}\\.\\w+@[a-zA-Z0-9]+(\\.[a-zA-Z]{3}+)";
		String regex = "\\w+@[a-zA-Z0-9]+(\\.[a-zA-Z]{3}+)";
		Pattern p = Pattern.compile(regex);

		while ((line = buf.readLine()) != null) {
			Matcher m = p.matcher(line);
			while (m.find()) {
				// System.out.println(m.group());
		        
				NetSpiderXml.mkNetSpiderXML(m.group());//写入xml
		        
				BufferedWriter out = null;
				try {
					out = new BufferedWriter(new OutputStreamWriter(new FileOutputStream(file, true)));
					out.write(m.group());
					out.newLine();// 追加换行
				} catch (IOException e) {
					e.printStackTrace();
				} finally {
					try {
						if (out != null) {
							out.close();
						}
					} catch (IOException e) {
						e.printStackTrace();
					}
				}
			}
		}
		System.out.println("网页爬虫，获取邮箱地址结束！");
		System.out.println("结果返回路径：" + file.getParent());
	}

	/**
	 * 
	 * @Title: newisnanfile
	 * @Description: TODO 指定文件已存在，创建新的文件，防止覆盖
	 * @param file
	 *            文件路径, name 上一个文件名
	 *            	max_val
	 *            		最大值
	 * @throws Exception
	 * @return: void
	 */
	public static void newisnanfile(File file) throws Exception {
		int max_val = findFileList(file);//首文件不存在，就返回 0 ，创建首文件
		// 参数1：文件所在路径 参数2：文件名称.后缀名
		File file2 = new File(file, "Email_"+ max_val +".txt");
		
		try {
			file2.createNewFile(); // 创建一个空的文件
			System.out.println("新建文件成功");
			System.out.println("开始爬取...");
			getMails(file2);
		} catch (Exception e) {
			throw e;
		}
	}

	/**
	 * 
	 * @Title: findFileList
	 * @Description: TODO 查询当前目录下的所有文件夹以及文件的名称
	 * @param file
	 *            文件名
	 * @return: void
	 */
	@SuppressWarnings("unchecked")
	public static int findFileList(File file) {
		int max = 0;
		try {
			@SuppressWarnings("rawtypes")
			ArrayList list = new ArrayList();
			File flist = new File(file.getPath());//文件夹绝对URL
			File[] filel = flist.listFiles();
			//System.out.println("===>"+filel.length);
			if(filel.length==0) //当不存在文件时，直接返回0
				return max;
			for (int i = 0; i < filel.length; i++) {
				File fs = filel[i];//获得此路径下的所有文件
				String str = fs.getName();//获取文件名后面的数字
				//Email_5.txt
				//规则
				String resl = "\\_(.*)\\.";

				//将规则封装成对象
				Pattern compile = Pattern.compile(resl);
					
				//让正则对象和要作用的字符串关联起来
				Matcher matcher = compile.matcher(str);
						
				//boolean flag = matcher.find();//讲规则作用到字符串上并进行符合规则的子串查找
				while(matcher.find())
				{
					//System.out.println(matcher.group(1)); //group() 获取匹配后结果
					list.add(matcher.group(1));//存入数组中
				}
			}
			@SuppressWarnings("rawtypes")
			Iterator ita = list.iterator();
			while(ita.hasNext()){
				Object next = ita.next();
				//System.out.println(ita.next());
				//int panum = Integer.parseInt(String.valueOf(next));
				String str = next.toString();
				int parseInt = Integer.parseInt(str);
				//System.out.println(parseInt);
				if(max<parseInt){
					max = parseInt;//获得最大值
				}
			}
		} catch (NumberFormatException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}
		return max+1;
	}

	/**
	 * 
	 * @Title: isnanfile
	 * @Description: TODO 当文件不存在时，创建一个空文件，并且调用一些 file 相关的方法
	 * @param file
	 *            文件名
	 * @throws Exception
	 * @return: void
	 */
	public static void isnanfile(File file) throws Exception {
		
		// 参数1：文件所在路径 参数2：文件名称.后缀名
		File file2 = new File(file, "Email_0.txt");

		/*
		 * D:\mail String[] splitstr = pPath.split("(?<=\\\\)[^\\\\]+(?=\\\\)");
		 * String[] splitstr = pPath.split("([^\\\\]{1}[a-zA-Z0-9.][$\\\\]*)");
		 * String[] splitstr = pPath.split("[\\\\]"); for(String files :
		 * splitstr){
		 * 
		 * File file = new File("D:\\A\\B\\C"); file.mkdirs(); file = new
		 * File("D:\\A\\B\\D"); 
		 * file.mkdir();
		 * 
		 * System.out.println(files); file.mkdirs(); }
		 */

		try {
			file.mkdirs();// 创建路径
			file2.createNewFile(); // 创建一个空的文件
			System.out.println("就绪...");
			System.out.println("开始爬取...");
			getMails(file2);
		} catch (Exception e) {
			throw e;
		}
	}
}

 

输出 xml 源码：

package com.v7.netdpider;

import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.OutputStreamWriter;
import java.io.Writer;
import java.util.List;

import org.dom4j.Document;
import org.dom4j.Element;
import org.dom4j.Node;
import org.dom4j.io.OutputFormat;
import org.dom4j.io.SAXReader;
import org.dom4j.io.XMLWriter;
import org.junit.Test;

public class NetSpiderXml {
	private static int i = 0;
	//private static int j = 0;
	@Test
	public static void mkNetSpiderXML(String val) throws Exception {
		SAXReader sax = new SAXReader();// 创建一个SAXReader对象
		File xmlFile = new File("src/Email.xml");// 根据指定的路径创建file对象
		Document document = sax.read(xmlFile);// 获取document对象,如果文档无节点，则会抛出Exception提前结束
		if(i==0){
			i++;
			delNode(document, "email"); // 根据 name 节点，删除
			saveDocument(document, xmlFile);// 把改变的内存中的document真正保存到指定的文件中
		}
		 Element root = document.getRootElement();// 获取根节点
		 addNode(root,"email", val);// 对指定的节点新增名为newNode的子节点，并指定新增字节的内容 
		 saveDocument(document, xmlFile);// 把改变的内存中的document真正保存到指定的文件中
		/*editAttribute(root,"email");// 对指定名字的节点进行属性的添加删除修改
		saveDocument(document, xmlFile);// 把改变的内存中的document真正保存到指定的文件中
*/	}

	/**
	 * 
	 * @Title: addNode
	 * @Description: TODO 对指定的节点添加子节点和对象的文本内容
	 * @param node
	 * @param nodeName
	 * @param content
	 *            文本内容
	 * @return: void
	 */
	public static void addNode(Element node, String nodeName, String content) {
		Element newNode = node.addElement(nodeName);// 对指定的节点node新增子节点,名为nodeName
		newNode.setText(content);// 对新增的节点添加文本内容content
	}

	/**
	 * 
	 * @Title: saveDocument
	 * @Description: TODO 把改变的domcument对象保存到指定的xml文件中
	 * @param document
	 * @param xmlFile
	 * @throws IOException
	 * @return: void
	 */
	public static void saveDocument(Document document, File xmlFile)
			throws IOException {
		Writer osWrite = new OutputStreamWriter(new FileOutputStream(xmlFile));// 创建输出流
		OutputFormat format = OutputFormat.createPrettyPrint(); // 获取输出的指定格式
		format.setEncoding("GB2312");// 设置编码 ，确保解析的xml为UTF-8格式
		XMLWriter writer = new XMLWriter(osWrite, format);// XMLWriter
															// 指定输出文件以及格式
		writer.write(document);// 把document写入xmlFile指定的文件(可以为被解析的文件或者新创建的文件)
		writer.flush();
		writer.close();
	}

	/**
	 * 
	 * @Title: editAttribute
	 * @Description: TODO 对指定的节点属性进行删除、添加、修改
	 * @param root
	 * @param nodeName
	 * @return: void
	 */
	public static void editAttribute(Element root, String nodeName) {
		// 获取指定名字的节点，无此节点的会报NullPointerException,时间问题不做此情况的判断与处理了
		Element node = root.element("email");
		// Attribute attr = node.attribute("email");//
		// 获取此节点指定的属性,无此节点的会报NullPointerException
		// node.remove(attr);// 删除此属性
		// Attribute attrDate = node.attribute("date");// 获取此节点的指定属性
		// attrDate.setValue("更改");// 更改此属性值
		node.addAttribute("id", "email");// 添加的属性
	}

	/**
	 * 
	 * @Title: deleteStudentByName
	 * @Description: TODO del 指定的节点
	 * @param document
	 * @param name
	 *            子节点名字
	 * @return: void
	 */
	public static void delNode(Document document, String name) {

		try {
			@SuppressWarnings("unchecked")
			List<Node> list = document.selectNodes("//emailroot/email");
			//System.out.println(list.size());
			for (Node node : list) {
				if (node instanceof Element) {
					Element ele = (Element) node;
					//System.out.println(ele.getName());
					//document.remove(ele);
					if (ele.getName().equals(name)) {
						Element examNode = ele.getParent();
						examNode.remove(ele);
					}
				}
			}
		} catch (Exception e) {

			e.printStackTrace();

		}

	}
}

 

Email.xml :

<?xml version="1.0" encoding="GB2312"?>

<emailroot> 
  
</emailroot>