java-爬虫-Jsoup使用

Jsoup使用第一步导入pom文件

		<dependency>
                <!-- jsoup HTML parser library @ https://jsoup.org/ -->
                <groupId>org.jsoup</groupId>
                <artifactId>jsoup</artifactId>
                <version>1.12.1</version>
          </dependency>

Jsoup使用案例

public static void main(String[] args) {
        List<String> list = new ArrayList<>();
        String html = HttpUtil.get("https://github.com/fastlane/fastlane/releases");
        Document parse = Jsoup.parse(html);
        Element body = parse.body();
        Elements title = body.getElementsByClass("commit js-details-container Details");
        title.forEach(element -> {
            String tag = element.select("a").first().text();
            String text = element.select("pre").text();
            list.add(tag + " " + text);
        });
    }

Jsoup方法说明

Jsoup.parse：解析html格式的文本为Document对象

parse.body: 获取Html里面的body体里面的内容

body.getElementsByClass： 通过标签中的class获取内容

element.select(“a”) : 获取当前内容中带有a的标签

element.select(“a”).first()： 选择当前元素中第一个a标签

element.select(“a”).first().text()： 选择当前元素中第一个a标签的内容