Java spider 爬虫

最新推荐文章于 2024-08-26 09:37:21 发布

谭北北

最新推荐文章于 2024-08-26 09:37:21 发布

阅读量547

点赞数

文章标签： java 爬虫开发语言

学习如何实现 Java 爬虫

在这个数字化的时代，网络爬虫（Spider）正在变得越来越重要。网络爬虫可以帮助我们从互联网抓取信息。今天，我将带你一步步实现一个简单的 Java 爬虫。

实现流程

在开始编码之前，首先我们要了解整个过程的步骤。以下是实现 Java 爬虫的一些基本步骤：

步骤	描述
1	确定目标网站
2	确定需要抓取的数据
3	使用 Java 网络库发起请求
4	解析网页内容
5	存储抓取的数据

1. 确定目标网站

在这个例子中，我们选择一个简单的网页作为目标。

2. 确定需要抓取的数据

这里我们假定要抓取网站上的标题和所有段落。

3. 使用 Java 网络库发起请求

我们可以使用 HttpURLConnection 发起 HTTP 请求。以下是相关代码：

import java.io.BufferedReader;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.URL;

public class WebSpider {
    public static void main(String[] args) {
        try {
            String url = " // 目标网页
            URL obj = new URL(url);
            HttpURLConnection con = (HttpURLConnection) obj.openConnection();
            con.setRequestMethod("GET"); // 设置请求方式为 GET
            
            int responseCode = con.getResponseCode(); // 获取响应代码
            System.out.println("Response Code : " + responseCode);

            // 读取网页内容
            BufferedReader in = new BufferedReader(new InputStreamReader(con.getInputStream()));
            String inputLine;
            StringBuilder content = new StringBuilder();
            while ((inputLine = in.readLine()) != null) {
                content.append(inputLine); // 将网页内容存入 StringBuilder
            }

            in.close(); // 关闭输入流
            con.disconnect(); // 断开连接

            // 解析内容
            parseContent(content.toString());

        } catch (Exception e) {
            e.printStackTrace();
        }
    }

    // 将解析内容的逻辑写在这里
    private static void parseContent(String html) {
        // 解析逻辑待实现
    }
}

HttpURLConnection：用于发起 HTTP 请求。
BufferedReader：用于逐行读取网页内容。

4. 解析网页内容

我们可以使用 JSoup 库来解析网页。添加 JSoup 库的 Maven 依赖，代码如下：

<dependency>
    <groupId>org.jsoup</groupId>
    <artifactId>jsoup</artifactId>
    <version>1.14.3</version> <!-- 请确认最新版本 -->
</dependency>

然后在代码中解析网页数据：

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;

private static void parseContent(String html) {
    Document doc = Jsoup.parse(html); // 使用 JSoup 解析 HTML
    String title = doc.title(); // 获取网页标题
    System.out.println("Title: " + title);
    
    for (Element paragraph : doc.select("p")) { // 获取所有段落
        System.out.println(paragraph.text()); // 打印段落内容
    }
}

Jsoup.parse(html)：解析 HTML 内容并返回 Document 对象。
doc.title()：获取网页的标题。
doc.select("p")：选择网页中的所有段落。

5. 存储抓取的数据

在这个阶段，我们可以将抓取到的数据存储到文件或数据库中。我们采用简单的文件写入：

import java.io.FileWriter;
import java.io.IOException;

private static void saveData(String title, List<String> paragraphs) {
    try (FileWriter writer = new FileWriter("output.txt")) { // 创建文件输出
        writer.write("Title: " + title + "\n");
        for (String paragraph : paragraphs) {
            writer.write(paragraph + "\n");
        }
    } catch (IOException e) {
        e.printStackTrace();
    }
}