28-正则表达式-10-正则表达式(练习_4爬虫)

/*
 * 【练习4】网页爬虫程序模拟
 * （网页爬虫：指一个程序用于在互联网中获取符合指定规则的数据）
 * 
 * 这里先模拟从某一个网页上爬取邮箱地址。
 */

package test4;

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.URL;
import java.util.ArrayList;
import java.util.List;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

public class Test4 {

	public static void main(String[] args) throws IOException {

		List<String> list = getMailsByWeb();
		
		for(String mail : list){
			
			System.out.println(mail);
			
		}
		
	}
	
	public static List<String> getMailsByWeb() throws IOException{

		//1.读取源文件并创建用于存储匹配信息的集合
		URL url = new URL("http://tieba.baidu.com/p/1663132130?pid=22154059532&cid=");
		BufferedReader bufIn = new BufferedReader(new InputStreamReader(url.openStream()));
		List<String> list = new ArrayList<String>();
		
		//2.对读取的数据进行规则的匹配，从中获取符合规则的数据
		String mail_regex = "\\w+@\\w+(\\.\\w+)+";//解释详见前一视频
		
		//利用正则表达式的获取方法（详见之前视频）
		Pattern p = Pattern.compile(mail_regex);
		
		//利用bufr读取信息，并逐一校验是否匹配mail_regex
		String line = null;
		while((line = bufIn.readLine())!=null){
			
			Matcher m = p.matcher(line);//读取一行匹配一行，找该行有没有和mail_regex匹配的信息
//p.matcher是用正则对象生成匹配器，然后将line传入进行校验
			
			while(m.find()){//如果找到符合mail_regex的信息
				
				//3.将符合规则的数据存储到集合中。
				list.add(m.group());//就用group()方法获取该信息并添加到集合中
				
			}
			
		}
		
		return list;
	}

}
/*
 * 【运行结果】
 * 成功爬取到指定网页中所有邮箱信息
 */