Java实现网页数据采集

                <div class="markdown_views">
            <p>最近，由于某些需要，用Java制做了一个网页数据采集器，用于将网页中需要的数据采集下来。</p>

这里使用的方法，是先得到要采集的网页的源代码，然后从源代码中使用正则表达式得到要采集的数据。

---

用以下代码，我们就可以得到要采集数据的网站的源代码，并且在控制台输出。

        String urlStr = ""; // 网址
        try {
            //创建一个url对象来指向要采集信息的网址
            URL url = new URL(urlStr);
            //将读取到的字节转化为字符
            InputStreamReader inStrRead = new InputStreamReader(url.openStream(),"utf-8");
            //读取InputStreamReader转化成的字符
            BufferedReader bufRead = new BufferedReader(inStrRead); 
            //读到的内容不为空
            while (bufRead.readLine() != null) {
                System.out.println(bufRead.readLine());
            }
            bufRead.close();
        } catch (IOException e) {
            e.printStackTrace();
        }
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

测试一下，这里使

String urlStr = "http://datacenter.mep.gov.cn/report/air_daily/air_dairy.jsp?&lang=";
 
 
1

在控制台输出如下结果。

得到网页的源代码之后，我们就可以使用正则表达式来得到要采集的数据。

我们先查看网页源代码，对源代码进行分析。

这里想要采集的数据是

• 城市
• 时间
• AQI指数
• 空气质量级别

以北京市为例进行分析，我们得到如下正则表达式

    // 城市正则
    private String regularCity = ">[\u4e00-\u9fa5]{2,}市</td>"; 
    // 日期正则
    private String regularDate = ">(([0-9]{3}[1-9]|[0-9]{2}[1-9][0-9]{1}|[0-9]{1}[1-9][0-9]{2}|[1-9][0-9]{3})-(((0[13578]|1[02])-(0[1-9]|[12][0-9]|3[01]))|((0[469]|11)-(0[1-9]|[12][0-9]|30))|(02-(0[1-9]|[1][0-9]|2[0-8]))))</td>";
    // AQI指数正则
    private String regularAQI = ">[0-9]{2,}</td>"; 
    // 空气质量级别正则
    private String regularQuality = ">[\u4e00-\u9fa5]</td>"; 
 
 
1
2
3
4
5
6
7
8

我们先定义一个方法，使用我们定义的正则表达式和得到的网页源代码采集数据。

    /*
     * 从网页源代码中采集数据
     * 
     * @param regular 正则
     * 
     * @param code 源代码
     */
    public String DataAcqu(String regular, String code) {
         // 编译正则表达式
        Pattern p = Pattern.compile(regular, Pattern.CASE_INSENSITIVE);
        Matcher m = p.matcher(code);

        if (m.find()) {
            // 返回采集到的数据
            return m.group();
        } else {
            return "";
        }
    }
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

然后就可以进行数据采集了。

    public DataCode() {
        // 用户输入网页地址
        Scanner scan = new Scanner(System.in); 
        // 存储用户输入的网页地址
        String urlStr = scan.nextLine(); 

        try {
            //创建一个url对象来指向要采集信息的网址
            URL url = new URL(urlStr); 
            //将读取到的字节转化为字符
            InputStreamReader inStrRead = new InputStreamReader(url.openStream(),
                    "utf-8"); 
            //读取InputStreamReader转化成的字符
            BufferedReader bufRead = new BufferedReader(inStrRead);
            String readStr = "";
            // 创建一个DataAcqu类的对象（前面自己定义的用于采集数据的类）
            DataAcqu dataAcq = new DataAcqu();

            int i = 0; // 记录采集到的数据数量
            // 如果读到的数据不为空
            while ((readStr = bufRead .readLine()) != null) {
                // 采集城市数据
                String cityStr = dataAcq.DataAcqu(regularCity, readStr);
                // 如果采集到符合条件的数据，打印出来
                if (!cityStr.equals("")) {
                 // 将采集到的数据前后多余部分去掉（前面正则表达式为了准确取到相应的值，加入了">"和"</td>"）
                    cityStr = cityStr.substring(1, cityStr.indexOf("</td>"));
                    System.out.println("城市:" + cityStr);
                }

                // 采集日期数据
                String dateStr = dataAcq.DataAcqu(regularDate, readStr);
                // 如果采集到符合条件的数据，打印出来
                if (!dateStr.equals("")) {
                    dateStr = dateStr.substring(1, dateStr.indexOf("</td>"));
                    System.out.println("日期:" + dateStr);
                }

                // 采集AQI指数数据
                String AQIStr = dataAcq.DataAcqu(regularAQI, readStr);
                // 如果采集到符合条件的数据，打印出来
                if (!AQIStr.equals("")) {
                    AQIStr = AQIStr.substring(1, AQIStr.indexOf("</td>"));
                    System.out.println("AQI指数:" + AQIStr);
                }

                // 采集空气质量级别数据
                String qualityStr = dataAcq.DataAcqu(regularQuality, readStr);
                // 如果采集到符合条件的数据，打印出来
                if (!qualityStr.equals("")) {
                    qualityStr = qualityStr.substring(1,
                            qualityStr.indexOf("</td>"));
                    System.out.println("空气质量级别:" + qualityStr);
                    System.out.println();
                    i++;
                }
            }
            br.close(); // 读取完成后关闭读取器
            System.out.println("采集完成，共采集到数据：" + i);
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63

运行后，控制台输出如下信息

如果想要将输出结果输出的文件中，只需在代码中添加如下代码

            // 将数据输出到文件
            PrintStream ps = new PrintStream("E:\\Java\\DataAcquisition\\data");
            //将输出位置切换到文件
            System.setOut(ps);
 
 
1
2
3
4

这样，我们的网页数据采集器就完成了。