Jsoup爬虫之Java爬虫工具类

最新推荐文章于 2024-08-22 11:00:00 发布

君问归期魏有期

最新推荐文章于 2024-08-22 11:00:00 发布

阅读量1.8k

点赞数 2

分类专栏： maven spring Java 文章标签： java maven spring java-ee intellij-idea

本文链接：https://blog.csdn.net/LongLiveThePRC/article/details/124162027

版权

Java 同时被 3 个专栏收录

140 篇文章 2 订阅

订阅专栏

maven

15 篇文章 0 订阅

订阅专栏

spring

13 篇文章 0 订阅

订阅专栏

该博客介绍了如何利用Jsoup Java库来抓取京东网站的搜索结果，包括商品图片、价格和名称。首先，引入Jsoup和Lombok依赖，然后创建一个JsoupUtil工具类，定义spaderJD方法，通过构造URL并解析页面获取商品列表。接着，遍历每个商品li元素，提取img src、价格和商品名称，并将这些信息存储到Comments实体类中。最后，测试类调用这个方法并打印结果。

摘要由CSDN通过智能技术生成

Jsoup爬虫之Java爬虫工具类

正文

1.导入依赖

<!--        jsoup爬虫依赖-->
        <dependency>
            <groupId>org.jsoup</groupId>
            <artifactId>jsoup</artifactId>
            <version>1.10.2</version>
        </dependency>
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <version>1.18.22</version>
        </dependency>

2.编写工具类


import com.example.entry.Comments;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import java.io.IOException;
import java.net.MalformedURLException;
import java.net.URL;
import java.util.ArrayList;
import java.util.List;

public class JsoupUtil {
//    爬虫工具类
    public List<Comments> spaderJD(String keyWords)throws Exception{
        String url="https://search.jd.com/Search?keyword="+keyWords+"&pvid=9045b0472b9f4c17bdf98ec6037a8afc";
        Document document = Jsoup.parse(new URL(url),30000);
        Element list = document.getElementById("J_goodsList");
        Elements li = list.getElementsByTag("li");
        ArrayList<Comments> commentsArrayList = new ArrayList<>();
        for (Element element:li){
            String src = element.getElementsByTag("img").attr("src");
            String price = element.getElementsByClass("p-price").eq(0).text();
            String name = element.getElementsByClass("p-name").eq(0).text();
            Comments comments = new Comments();
            comments.setImg(src);
            comments.setPrice(price);
            comments.setName(name);
            commentsArrayList.add(comments);
        }
        return commentsArrayList;
    }
}

3.编写工具类对应实体类

import lombok.Data;
@Data
public class Comments {
    private String img;
    private String price;
    private String name;
}

4.测试类进行测试

import com.example.Util.JsoupUtil;
public class text {
    public static void main(String[] args) throws Exception{
        JsoupUtil jsoupUtil = new JsoupUtil();
        jsoupUtil.spaderJD("java").forEach(System.out::println);
    }
}