淘宝探险记：Java爬虫的“剁手”之旅-CSDN博客

本文链接：https://blog.csdn.net/2401_87849335/article/details/143885059

尊敬的探险家们，欢迎来到Java的“剁手”之旅。今天，我们将一起踏上一段奇妙的探险，目标是淘宝的神秘宝藏——商品数据。请系好安全带，拿起你的Java魔杖，我们即将启程！

1. 准备你的探险装备

在这场探险中，我们需要一些特殊的装备：

Java：我们的探险船，带领我们穿越代码的海洋。
Jsoup：我们的望远镜，用于远距离观察网页。
HttpClient：我们的船桨，帮助我们在网络中快速移动。

首先，确保你的Java环境已经搭建好，然后通过Maven或Gradle添加以下依赖：

<!-- Maven依赖 -->
<dependency>
    <groupId>org.jsoup</groupId>
    <artifactId>jsoup</artifactId>
    <version>1.13.1</version>
</dependency>

<dependency>
    <groupId>org.apache.httpcomponents</groupId>
    <artifactId>httpclient</artifactId>
    <version>4.5.13</version>
</dependency>

2. 绘制藏宝图

在淘宝这个巨大的迷宫中，我们需要一张藏宝图来找到我们想要的商品。以“手机”为例，我们的藏宝图（URL）可能如下：

https://s.taobao.com/search?q=手机&s=0&spm=a220m.1000858.a2227oh.dXJs

这里，q=手机是我们的宝藏目标，s=0表示我们从迷宫的起点开始。

3. 编写探险代码

3.1 启动你的探险船

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;

import java.io.IOException;

public class TaobaoExplorer {
    public static void main(String[] args) {
        String keyword = "手机";
        String url = "https://s.taobao.com/search?q=" + keyword + "&s=0&spm=a220m.1000858.a2227oh.dXJs";
        exploreTaobao(url);
    }

    private static void exploreTaobao(String url) {
        try {
            CloseableHttpClient httpClient = HttpClients.createDefault();
            HttpGet request = new HttpGet(url);
            request.addHeader("User-Agent", "Mozilla/5.0");
            CloseableHttpResponse response = httpClient.execute(request);
            String html = EntityUtils.toString(response.getEntity());
            Document doc = Jsoup.parse(html);
            httpClient.close();

            // 用我们的望远镜查看迷宫中的商品
            Elements items = doc.select("div.items");
            for (Element item : items) {
                String title = item.select("div.title").text();
                String price = item.select("div.price").text();
                String image = item.select("img").attr("src");
                System.out.println("Title: " + title + ", Price: " + price + ", Image: " + image);
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}