JAVA使用org.jsoup来实现HTML网页的读取

最新推荐文章于 2025-02-14 16:07:03 发布

Evolintion

最新推荐文章于 2025-02-14 16:07:03 发布

阅读量3.5k

点赞数

分类专栏： Java 文章标签： JAVA HTML org.jsoup

本文链接：https://blog.csdn.net/TheShawshank/article/details/80884139

版权

Java 专栏收录该内容

5 篇文章

订阅专栏

本文介绍如何利用Java中的org.jsoup库解析HTML并获取指定网页内所有a标签的href属性值，通过示例代码展示了从给定网址抓取链接的具体实现。

摘要由CSDN通过智能技术生成

本文以通过JAVA爬取某一网页下所有a标签href指向的链接为例，讲述org.jsoup对于HTML页面的使应用。

1、在pom.xml中配置依赖

<dependency>
    <groupId>org.jsoup</groupId>
    <artifactId>jsoup</artifactId>
    <version>1.8.3</version>
</dependency>

2、如果是爬取"http://www.xx.com/xx/xx"页面下的a标签href指向的链接，代码如下

public static List<String> getUrls(String urlStr) throws IOException {
    List<String> result = new ArrayList<String>();
    URL url = new URL(urlStr);
    Document doc = Jsoup.parse(url, 10000);
    Elements elements = doc.select("a");
    elements.forEach((element) -> {
        String href = element.attr("href");
        result.add(href);	
    });
    return result;
}