今天学习了一下Java的网络爬虫技术,发现网络爬虫技术首先分为以下几个步骤:
1、打开网页链接
2、把网页代码用一个BufferedReader存放
以下是我做的一个代码实例:
在学习网络爬虫的过程中首先要导入两个包:htmllexer.jar,htmlparser.jar
public static void main(String[] args) {
try {
URL url = new URL("http://www.baidu.com");
HttpURLConnection httpurl = (HttpURLConnection) url.openConnection();
BufferedReader br = new BufferedReader(new InputStreamReader(httpurl.getInputStream(), "utf-8"));
//采用正则表达式来匹配网页内容
Pattern p = Pattern.compile("(http://\\w+\\.baidu\\.com)|(\\w://w+\\.baidu\\.com)");
Matcher m;
String line;
while ((line = br.readLine()) != null) {
m = p.matcher(line);
if (m.find()) {
//只有当网页匹配时才将其打印出来
System.out.println(line);
}
}
} catch (IOException e) {
e.printStackTrace();
}
在学习的过程中,遇到了一个很有趣的问题:
那就是正则表达式中find()和matches()方法的区别———find()方法是部分匹配,是查找输入串中与模式匹配的子串,如果该匹配的串有组还可以使用group()函数。
matches()是全部匹配,是将整个输入串与模式匹配,如果要验证一个输入的数据是否为数字类型或其他类型,一般要用matches()。http://blog.csdn.net/liuxuejin/article/details/8643036