Java爬虫利器：Jsoup详细介绍与用法_java jsoup(1)

最新推荐文章于 2024-06-25 07:06:31 发布

2301_82244006

最新推荐文章于 2024-06-25 07:06:31 发布

阅读量349

点赞数 5

分类专栏：程序员文章标签： python 学习面试

本文链接：https://blog.csdn.net/2301_82244006/article/details/138910847

版权

程序员专栏收录该内容

98 篇文章 0 订阅

订阅专栏

一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、Python必备开发工具

工具都帮大家整理好了，安装就可直接上手！

三、最新Python学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、Python视频合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

六、面试宝典

在这里插入图片描述

简历模板

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

二、解析HTML文档

使用Jsoup，您可以轻松地将HTML文档加载到Java程序中进行解析。您可以从URL、文件、字符串或输入流中加载HTML文档。以下是一个简单的示例：

String html = "<html><head><title>Jsoup Example</title></head>"
            + "<body><h1>Welcome to Jsoup</h1><p>Jsoup is a Java library for HTML parsing.</p></body></html>";

Document doc = Jsoup.parse(html);

三、选择器和查找元素

Jsoup使用类似于CSS选择器的语法来查找和选择HTML元素。您可以使用标签名称、类名、ID、属性等进行元素选择。以下是一些示例：

Element h1Element = doc.select("h1").first(); // 选择第一个<h1>元素
Elements pElements = doc.select("p"); // 选择所有<p>元素
Element elementWithClass = doc.select(".classname").first(); // 选择具有给定类名的元素

四、提取元素的属性和文本

使用Jsoup，您可以轻松地提取HTML元素的属性和文本内容。以下是一些示例：

String title = doc.title(); // 获取文档标题
String h1Text = h1Element.text(); // 获取<h1>元素的文本内容
String attrValue = element.attr("attributeName"); // 获取元素的属性值

五、遍历和修改元素

Jsoup支持遍历和修改HTML元素的功能。您可以使用各种方法来添加、删除或修改元素。以下是一些示例：

Elements paragraphs = doc.select("p");
for (Element paragraph : paragraphs) {
    paragraph.addClass("highlight"); // 添加CSS类
    paragraph.attr("data-id", "123"); // 设置自定义属性
    paragraph.text("New text"); // 设置新的文本内容
}

六、处理HTML表单

Jsoup提供了处理HTML表单的支持。您可以使用它来填充表单字段、提交表单和处理表单响应。以下是一个简单的示例：

Connection.Response loginForm = Jsoup.connect("http://example.com/login")
        .method(Connection.Method.GET)
        .execute();

Document loginDoc = loginForm.parse();
Element form = loginDoc.select("form").first();

// 填充表单字段
form.select("input[name=username]").val("username");
form.select("input[name=password]").val("password");

// 提交表单
Connection.Response loginResponse = form.submit().cookies(loginForm.cookies()).execute();

Document loggedinDoc = loginResponse.parse();

七、综合案例

1：爬取新闻网站的标题和链接

假设我们想要从一个新闻网站上爬取所有新闻的标题和对应的链接。我们可以使用Jsoup来实现这个功能。以下是一个示例：

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import java.io.IOException;

public class NewsCrawler {
    public static void main(String[] args) {
        try {
            // 加载新闻网站的HTML文档
            Document doc = Jsoup.connect("http://www.example.com/news").get();
            
            // 选择新闻标题和链接的元素
            Elements newsElements = doc.select(".news-item");
            
            // 遍历元素并提取标题和链接
            for (Element newsElement : newsElements) {
                String title = newsElement.select(".title").text();
                String link = newsElement.select("a").attr("href");
                System.out.println("标题：" + title);
                System.out.println("链接：" + link);
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

在这个示例中，我们首先使用Jsoup连接到指定的新闻网站，并加载HTML文档。然后，我们使用选择器选择每个新闻元素，并通过选择器提取标题和链接。最后，我们将结果打印出来。

2：爬取图片网站的图片链接和下载图片

假设我们想要从一个图片网站上爬取所有图片的链接，并将图片下载到本地。我们可以使用Jsoup来实现这个功能。以下是一个示例：

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import java.io.BufferedInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.net.URL;

public class ImageCrawler {
    public static void main(String[] args) {
        try {
            // 加载图片网站的HTML文档


### 一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。



![](https://img-blog.csdnimg.cn/img_convert/9f49b566129f47b8a67243c1008edf79.png)



### 二、学习软件

工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。



![](https://img-blog.csdnimg.cn/img_convert/8c4513c1a906b72cbf93031e6781512b.png)



### 三、入门学习视频



我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。



![](https://img-blog.csdnimg.cn/afc935d834c5452090670f48eda180e0.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA56iL5bqP5aqb56eD56eD,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center)




**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化学习资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618317507)**

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

2301_82244006

关注

5
点赞
踩
9

收藏

觉得还不错? 一键收藏
0
评论
Java爬虫利器：Jsoup详细介绍与用法_java jsoup(1)

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。工具都帮大家整理好了，安装就可直接上手！当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
复制链接

扫一扫