/*
* 【练习4】网页爬虫程序模拟
* (网页爬虫:指一个程序用于在互联网中获取符合指定规则的数据)
*
* 这里先模拟从某一个网页上爬取邮箱地址。
*/
package test4;
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.URL;
import java.util.ArrayList;
import java.util.List;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
public class Test4 {
public static void main(String[] args) throws IOException {
List<String> list = getMailsByWeb();
for(String mail : list){
System.out.println(mail);
}
}
public static List<String> getMailsByWeb() throws IOException{
//1.读取源文件并创建用于存储匹配信息的集合
URL url = new URL("http://tieba.baidu.com/p/1663132130?pid=22154059532&cid=");
BufferedReader bufIn = new BufferedReader(new InputStreamReader(url.openStream()));
List<String> list = new ArrayList<String>();
//2.对读取的数据进行规则的匹配,从中获取符合规则的数据
String mail_regex = "\\w+@\\w+(\\.\\w+)+";//解释详见前一视频
//利用正则表达式的获取方法(详见之前视频)
Pattern p = Pattern.compile(mail_regex);
//利用bufr读取信息,并逐一校验是否匹配mail_regex
String line = null;
while((line = bufIn.readLine())!=null){
Matcher m = p.matcher(line);//读取一行匹配一行,找该行有没有和mail_regex匹配的信息
//p.matcher是用正则对象生成匹配器,然后将line传入进行校验
while(m.find()){//如果找到符合mail_regex的信息
//3.将符合规则的数据存储到集合中。
list.add(m.group());//就用group()方法获取该信息并添加到集合中
}
}
return list;
}
}
/*
* 【运行结果】
* 成功爬取到指定网页中所有邮箱信息
*/
28-正则表达式-10-正则表达式(练习_4爬虫)
最新推荐文章于 2024-08-15 14:51:20 发布