Java——正则表达式_初识网络爬虫

目的

获取某网站中所有的链接地址

思路

（1）获取该网站的HTML源码
（2）利用正则表达式，获取其中的链接地址（href=”http://……”）

代码

这里以www.163.com为例

package TestRegex;

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.MalformedURLException;
import java.net.URL;
import java.nio.charset.Charset;
import java.util.ArrayList;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

/**
 * 初识网络爬虫
 * @author yangzheng
 *
 */

public class Demo2 {
    public static String getURLContent(String urlStr, String charset){
        StringBuffer res = new StringBuffer();
        try {
            URL url = new URL(urlStr);

            BufferedReader br = new BufferedReader(new InputStreamReader(url.openStream(), Charset.forName(charset)));
            String str = null;

            while ((str = br.readLine()) != null) {
                res.append(str);
            }
        } catch (MalformedURLException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        }

        return res.toString();
    }

    public static ArrayList<String> getMatherSubstrs(String destStr, String regexStr){
        Pattern pattern = Pattern.compile(regexStr);
        Matcher mather = pattern.matcher(destStr);
        ArrayList<String> res = new ArrayList<String>();
        while(mather.find()){
            //System.out.println(mather.group());
            //System.out.println(mather.group(1));
            res.add(mather.group(1));
        }

        return res;
    }

    public static void main(String[] args) {
        String destStr = getURLContent("http://www.163.com", "gbk");
        //System.out.println(destStr);

        ArrayList<String> list = getMatherSubstrs(destStr, "href=\"(.+?)\"");

        for (String temp : list) {
            System.out.println(temp);
        }

    }
}

结果

输出destStr：

（其实是很长很长的）

输入list中的链接地址：

（也有很多，图片中只是一下部分）

延伸

可以利用递归，再获取源码中地址对应的网页的源码中的地址。这样可以将整个网站下载到电脑本地中（当然，很多网站是有防护的）。

总结

对爬虫充满了好奇。有时间再学爬虫。
正则表达式就学到这，虽然学完了，但用起来并不熟练。在其它语言中还没有尝试过。