2024年Python最全Java爬虫利器：Jsoup详细介绍与用法_java jsoup

paragraph.addClass("highlight"); // 添加CSS类
paragraph.attr("data-id", "123"); // 设置自定义属性
paragraph.text("New text"); // 设置新的文本内容

}

### 六、处理HTML表单


Jsoup提供了处理HTML表单的支持。您可以使用它来填充表单字段、提交表单和处理表单响应。以下是一个简单的示例：

Connection.Response loginForm = Jsoup.connect(“http://example.com/login”)
.method(Connection.Method.GET)
.execute();

Document loginDoc = loginForm.parse();
Element form = loginDoc.select(“form”).first();

// 填充表单字段
form.select(“input[name=username]”).val(“username”);
form.select(“input[name=password]”).val(“password”);

// 提交表单
Connection.Response loginResponse = form.submit().cookies(loginForm.cookies()).execute();

Document loggedinDoc = loginResponse.parse();

### 七、综合案例


#### 1：爬取新闻网站的标题和链接


假设我们想要从一个新闻网站上爬取所有新闻的标题和对应的链接。我们可以使用Jsoup来实现这个功能。以下是一个示例：

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import java.io.IOException;

public class NewsCrawler {
public static void main(String[] args) {
try {
// 加载新闻网站的HTML文档
Document doc = Jsoup.connect(“http://www.example.com/news”).get();

        // 选择新闻标题和链接的元素
        Elements newsElements = doc.select(".news-item");
        
        // 遍历元素并提取标题和链接
        for (Element newsElement : newsElements) {
            String title = newsElement.select(".title").text();
            String link = newsElement.select("a").attr("href");
            System.out.println("标题：" + title);
            System.out.println("链接：" + link);
        }
    } catch (IOException e) {
        e.printStackTrace();
    }
}

}

在这个示例中，我们首先使用Jsoup连接到指定的新闻网站，并加载HTML文档。然后，我们使用选择器选择每个新闻元素，并通过选择器提取标题和链接。最后，我们将结果打印出来。


#### 2：爬取图片网站的图片链接和下载图片


假设我们想要从一个图片网站上爬取所有图片的链接，并将图片下载到本地。我们可以使用Jsoup来实现这个功能。以下是一个示例：

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import java.io.BufferedInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.net.URL;

public class ImageCrawler {
public static void main(String[] args) {
try {
// 加载图片网站的HTML文档
Document doc = Jsoup.connect(“http://www.example.com/images”).get();

        // 选择图片链接的元素
        Elements imageElements = doc.select(".image-item img");
        
        // 遍历元素并提取图片链接
        for (Element imageElement : imageElements) {
            String imageUrl = imageElement.attr("src");
            String fileName = imageUrl.substring(imageUrl.lastIndexOf("/") + 1);
            
            // 下载图片并保存到本地
            URL url = new URL(imageUrl);
            BufferedInputStream in = new BufferedInputStream(url.openStream());
            FileOutputStream out = new FileOutputStream("images/" + fileName);
            byte[] buffer = new byte[1024];
            int bytesRead;
            while ((bytesRead = in.read(buffer, 0, 1024)) != -1) {
                out.write(buffer, 0, bytesRead);
            }
            out.close();
            in.close();
            
            System.out.println("图片已下载：" + fileName);
        }
    } catch (IOException e) {
        e.printStackTrace();
    }
}

}

现在能在网上找到很多很多的学习资源，有免费的也有收费的，当我拿到1套比较全的学习资源之前，我并没着急去看第1节，我而是去审视这套资源是否值得学习，有时候也会去问一些学长的意见，如果可以之后，我会对这套学习资源做1个学习计划，我的学习计划主要包括规划图和学习进度表。



分享给大家这份我薅到的免费视频资料，质量还不错，大家可以跟着学习

![](https://img-blog.csdnimg.cn/img_convert/21b2604bd33c4b6713f686ddd3fe5aff.png)



**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化学习资料的朋友，可以戳这里无偿获取](https://bbs.csdn.net/topics/618317507)**

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**