java pa——jsoup使用教程

已于 2022-12-10 15:27:59 修改
阅读量7.4k 收藏 22
点赞数 2
分类专栏： JavaSE 文章标签： java
于 2022-06-24 21:21:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44886213/article/details/125447975
版权

目录

一、jsoup入门

1.1 org.jsoup.Jsoup类

1.2 org.jsoup.nodes.Document类 

1.2.1 DOM

1.2.2 CSS选择器

1.3 org.jsoup.nodes.Element类   

二、 创建项目

三、 京东完整代码（简单版）

四、 京东多页版

五、 淘宝进阶版

一、jsoup入门

        要实现多样化的pa取，还得从jsoup本身学起呀！

（1）定义：JSoup是一个用于处理HTML的Java库，它提供了一个非常方便类似于使用DOM，CSS和jQuery的方法的API来提取和操作数据。

（2）主要作用：

  • DOM：将HTML解析为与现代浏览器相同的DOM，和js中的document对象一样，用getElementById等方法获取元素
  • CSS：利用CSS选择器选择src等属性

（3）API学习

学习jsoup就是学习这几个类的方法。

1.1 org.jsoup.Jsoup类

主要就是记parse这个函数就行了

Document document = Jsoup.parse(new URL(url), 30000);  //url 最长解析时间

1.2 org.jsoup.nodes.Document类 

1.2.1 DOM

document对象和JavaScript里的document是一个东西，js里能用的方法这里都能调用。

Element element = document.getElementById("J_goodsList");

1.2.2 CSS选择器

下面例子中从HTML提取带a[href] 、src、 link[href]属性的元素，再用这些元素的attr函数提取更精确额内容。

        Document doc = Jsoup.connect(url).get();
        Elements links = doc.select("a[href]");
        Elements media = doc.select("[src]");
        Elements imports = doc.select("link[href]");

        print("\nLinks: (%d)", links.size());
        for (Element link : links) {
            print(" * a: <%s>  (%s)", link.attr("abs:href"), trim(link.text(), 35));
        }

         print("\nMedia: (%d)", media.size());
        for (Element src : media) {
            if (src.tagName().equals("img"))
                print(" * %s: <%s> %sx%s (%s)",
                        src.tagName(), src.attr("abs:src"), src.attr("width"), src.attr("height"),
                        trim(src.attr("alt"), 20));
            else
                print(" * %s: <%s>", src.tagName(), src.attr("abs:src"));
        }

        print("\nImports: (%d)", imports.size());
        for (Element link : imports) {
            print(" * %s <%s> (%s)", link.tagName(),link.attr("abs:href"), link.attr("rel"));
        }

示例输出：

Imports: (2)
 * link <http://ycombinator.com/news.css> (stylesheet)
 * link <http://ycombinator.com/favicon.ico> (shortcut icon)

Media: (38)
 * img: <http://ycombinator.com/images/y18.gif> 18x18 ()
 * img: <http://ycombinator.com/images/s.gif> 10x1 ()
 * img: <http://ycombinator.com/images/grayarrow.gif> x ()
 
Links: (141)
 * a: <http://ycombinator.com>  ()
 * a: <http://news.ycombinator.com/news>  (Hacker News)
 * a: <http://news.ycombinator.com/newest>  (new)

1.3 org.jsoup.nodes.Element类   

根据下面的例子理解吧

二、 创建项目

因为要用到解析网页的jsoup依赖，所以新建一个maven项目。

 添加jsoup依赖

 在侧边栏检查一下，发现添加成功

三、 京东完整代码（简单版）

京东抓取一页商品的代码


import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import java.io.IOException;
import java.net.MalformedURLException;
import java.net.URL;

public class HtmlParseUtil {
    public static void main(String[] args) throws IOException {
        //被pa取页面的url https://search.jd.com/Search?keyword=Java
        String url = "https://search.jd.com/Search?keyword=女衬衫";
        // jsoup解析网页，返回浏览器document对象，所有在js可以使用的方法这里都能用！
        Document document = Jsoup.parse(new URL(url), 30000);  //url 最长解析时间
        Element element = document.getElementById("J_goodsList");
        // 获取J_goodsList下的所有的li元素
        Elements elements = element.getElementsByTag("li");

        int count=0;
        for (Element el : elements) {
            //              找到<img>标签； 找到<li>标签下的第1个<img>标签； 获取其src属性
            //String img = el.getElementsByTag("img").eq(0).attr("src");
            //             找到"p-price"类；找到<li>标签下的第1个"p-price"； 将其内容转为文字
            String price = el.getElementsByClass("p-price").eq(0).text();
            //             同上
            String name = el.getElementsByClass("p-name").eq(0).text();

            //System.out.println(img);
            System.out.println(price);
            System.out.println(name);
            count++;
        }
        System.out.println(count);
    }
}

只需要将url最后的“女衬衫” 改为你想搜索的商品就行了。

结果如下图：

但是只能实现第一页的pa取。

四、 京东pa取多页版

借鉴：jsoup pa取分页的内容_depthwhite的博客-CSDN博客_jsoup pa取分页

网站显示内容基本上都是通过分页来显示，我们用jsoup简单pa取页面仅能获取本页的内容，对于其他页面的内容该如何pa取？其实很简单，就是通过检查下一页的链接地址，基本上下一页的超链接地址都是有规律的，基本上都是*****/1或者*****/2等等，所以我们可以按照这个规律，循环访问页面，抓取信息即可；当然，通过选择器直接将下一页的url获取出来也可以，不过我觉得直接分析还是比较简单。

        因为选择器不太熟，我选择采用观察法。

        当我翻到第二页的时候，发现URL后面多了一大串，似乎没有规律可循（崩溃）。

         让人头大的是pvid=后面的一串是随机的。下一次搜索就变了

  1.  但是我发现去掉pvid这一串以后，也能访问这个页面。
  2. 并且多次点击进入不同页数以后，发现page是奇数没有偶数，第1页对应page=1；第2页对应page=3；第3页对应page=5.
  3. s=是货物累计多少个了。第2页的s比第1页多55个，第3页比第2页多55个，第4页比第3页多55个。。。
  4. click一直等于零
  5. 最重要的发现是，只需要前面的keyword=java加上后面的page=就可以访问每一页，其他都是无用的（不知道“无用”这个理解对不对，没怎么接触过Javaweb）。

 比如说我只输入上面的URL，就可以访问java商品的第6页

 那这样的话，我们给上面的简单版代码套一个循环就可以访问多页了。


import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import java.io.IOException;
import java.net.MalformedURLException;
import java.net.URL;

public class HtmlParseUtil {
    public static void main(String[] args) throws IOException {
        int count=0; //统计商品个数
        //被pa取页面的url https://search.jd.com/Search?keyword=Java
        String url = "https://search.jd.com/Search?keyword=java";
        // jsoup解析网页，返回浏览器document对象，所有在js可以使用的方法这里都能用！
        for(int i=1;i<=5;i++){
            String temp = 2*i-1+"";  //int 转 string
            url = url+"&page="+temp;

            Document document = Jsoup.parse(new URL(url), 30000);  //url 最长解析时间
            Element element = document.getElementById("J_goodsList");
            // 获取J_goodsList下的所有的li元素
            Elements elements = element.getElementsByTag("li");

            for (Element el : elements) {
                //              找到<img>标签； 找到<li>标签下的第1个<img>标签； 获取其src属性
                //String img = el.getElementsByTag("img").eq(0).attr("src");
                //             找到"p-price"类；找到<li>标签下的第1个"p-price"； 将其内容转为文字
                String price = el.getElementsByClass("p-price").eq(0).text();
                //             同上
                String name = el.getElementsByClass("p-name").eq(0).text();

                //System.out.println(img);
                System.out.println(price);
                System.out.println(name);
                count++;
            }
        }


        System.out.println(count);
    }
}

 

 

五、 淘宝进阶版

1. 找到所有商品对应的<div id="mainsrp-itemlist">

2.找到每一个商品对应的标签<div class="">

 这里发现前三个商品的class和后面的都不一样，仔细一看，前三个是给淘宝上供的广告商品。那就不pa前三个了吧

3. 

遇到淘宝的反pa，不想弄了

玛丽莲茼蒿
关注
  • 2
    点赞
  • 踩
  • 22
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
菜鸟教程（Java）笔记——Java教程
上园村一霸的博客
08-27 1337
Java分为三个体系： JavaSE（J2SE）（Java2 Platform Standard Edition，java平台标准版） JavaEE(J2EE) (Java 2 Platform,Enterprise Edition，java平台企业版) JavaME(J2ME) (Java 2 Platform Micro Edition，java平台微型版)。 Java语言不使用指针，而是引...
Java爬虫利器：Jsoup详细介绍与用法
hitpter的专栏
09-28 3602
使用Java库Jsoup，我们可以轻松地解析和处理HTML文档，从而从网页中提取所需的信息。我们可以使用选择器和查找元素的功能快速定位和提取元素，使用提取元素属性和文本的功能获取所需的内容，使用遍历和修改元素的功能对元素进行操作，甚至可以使用Jsoup处理HTML表单。Jsoup是一款功能强大且易于使用的Java爬虫专用库，相信通过本文的介绍，您已经对Jsoup有了更深入的了解，并能够灵活运用它来解决实际问题。让我们一起享受用Jsoup编写爬虫程序的乐趣吧！
jsoup基于java爬虫项目
03-27
jsoup是一款Java的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。 Jsoup的主要功能 1）从一个URL，文件或字符串中解析HTML 2）使用DOM或CSS选择器来查找、取出数据 3）可操作HTML元素、属性、文本 注意：jsoup是基于MIT协议发布的，可放心使用于商业项目。 Jsoup的主要功能 1）从一个URL，文件或字符串中解析HTML 2）使用DOM或CSS选择器来查找、取出数据 3）可操作HTML元素、属性、文本 注意：jsoup是基于MIT协议发布的，可放心使用于商业项目。
import org.jsoup.nodes.Node
qq_33240556的博客
05-31 358
Jsoup是一个广泛使用的Java库，专门用于处理实际的HTML文档。它提供了一个非常方便的API，让你能够利用DOM、CSS以及类似jQuery的方法来提取和操作数据。类，这个类代表HTML文档中的一个节点。这个类是Jsoup用来构建HTML内容模型的基础部分，对于解析或操作HTML至关重要。：你可以操纵文档中的节点，比如添加或删除子节点、替换节点或改变它们的属性。你所提供的导入语句指的是来自Jsoup库（一个Java库）中的。类还允许你从HTML中提取信息，比如使用。，这些方法允许你在文档结构中导航。
java爬虫--Jsoup
可爱的鸡仔的博客
10-13 1795
Document：文档对象。每份HTML页面都是一个文档对象，Document 是 jsoup 体系中最顶层的结构。Element：元素对象。一个 Document 中可以着包含着多个 Element 对象，可以使用 Element 对象来遍历节点提取数据或者直接操作HTML。Elements：元素对象集合，类似于List。Node：节点对象。标签名称、属性等都是节点对象，节点对象用来存储数据。
Jsoup使用教程以及使用案例
苍煜
03-30 1万+
jsoup 是一款基于 Java 的HTML解析器，它提供了一套非常省力的API，不但能直接解析某个URL地址、HTML文本内容，而且还能通过类似于DOM、CSS或者jQuery的方法来操作数据，所以 jsoup 也可以被当做爬虫工具使用，从网站获取dom结构，从而解析下载数据。tagname: 通过标签查找元素，例如通过"a"来查找< a >标签。#id: 通过ID查找元素，比如通过#logo查找< p id=“logo”>
深入理解Jsoup：Java的HTML解析神器
djmacdtr的博客
05-13 1992
在这篇文章中，我们深入探讨了Jsoup，这是一个用于处理HTML的强大Java库。我们首先了解了Jsoup的基本概念，然后通过实际示例展示了如何使用Jsoup来解析HTML，提取元素和数据。我们进一步探讨了Jsoup的常用方法，如连接和获取文档，查询和提取元素等。此外，我们还讨论了Jsoup在网络爬虫中的应用，并展示了一个简单的网络爬虫示例。最后，我们对Jsoup进行了横向对比，与JDOM、DOM4J、HTMLUnit等其他HTML处理技术进行了比较。
JAVA网络爬虫之Jsoup解析
Z_suger7的博客
06-06 1222
所以这里我准备使用jsoup来爬取， jsoup是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。最近有个项目任务是爬取汽车之家上面各论坛的回复。但是大家都清楚汽车之家的反爬虫措施做得相当好。也是为了保护个人权益的原因或者是保护用户的信息吧。所以为了完成任务就必须要反反爬虫。这是一个很让人头痛的问题。
Java爬虫入门——使用Jsoup解析HTML页面.zip
03-08
如果您下载了本程序，但是该程序无法运行，或者您不会部署，那么您可以选择退款或者寻求我们的帮助（如果找我们帮助的...然而，使用爬虫需要遵守法律和伦理规范，尊重网站的使用政策，并确保对被访问网站的服务器负责。
Android开发一大神器——Jsoup.pdf
09-22
Android开发一大神器——Jsoup.pdf
java使用jsoup插件进行爬虫开发
最新发布
06-04
本项目为java开发集成jsoup插件开发的爬虫demo。以爬取H3C ERG2-450W 路由器管理页面流量信息为示例。包括爬取：登录，获取流量数据，注销其他用户，推出用户功能的实现。有需要的伙伴可以用java+jsoup开发更复杂...
jsoup的使用
热门推荐
ThinkStu的博客
07-02 22万+
jsoup 是一款基于 Java 的HTML解析器，它提供了一套非常省力的API，不但能直接解析某个URL地址、HTML文本内容，而且还能通过类似于DOM、CSS或者jQuery的方法来操作数据，所以 jsoup 也可以被当做爬虫工具使用。.........
（转）Jsoup（一）Jsoup详解（官方）
zyb418的专栏
03-04 3110
Jsoup（一）Jsoup详解（官方） - HuaToDevelop - 博客园 一、Jsoup概述 1.1、简介 jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API， 　可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。 1.2、Jsoup的主要功能 1）从一个URL，文件或字符串中解析HTML 2）使用DOM或CSS选择器来查找、取出数据 3）可操作HTML元素、属性、...
【Java爬虫】Jsoup
别下完这场雪
09-13 6312
想要学习Java爬虫，肯定要学Jsoup。 jsoup是一款Java的HTML解析器，主要用来对HTML解析，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。
Jsoup详解
cuishouming的博客
07-23 2万+
一、Jsoup概述 1.1、简介     jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API， 　可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。 1.2、Jsoup的主要功能     1）从一个URL，文件或字符串中解析HTML     2）使用DOM或CSS选择器来查找、取出数据     3...
Java网络爬虫——jsoup快速上手，爬取京东数据。同时解决‘京东安全’防爬问题
qq_53058639的博客
02-25 2532
网络爬虫，就是在浏览器上，代替人类爬取数据，Java网络爬虫就是通过Java编写爬虫代码，代替人类从网络上爬取信息数据。程序员通过设定既定的规则，让程序代替我们从网络上获取海量我们需要的数据，比如图片，企业信息等。爬虫的关键是对于网页信息的解析。jsoup是一个用于处理现实世界HTML的Java库。它提供了一个非常方便的API，用于获取URL以及提取和操作数据，使用最好的HTML5DOM方法和CSS选择器。
网络爬虫——Jsoup的使用
吴声子夜歌的博客
07-17 2622
Jsoup 是一款基于 Java 语言的开源项目，主要用于请求 URL 获取网页内容、解析 HTML 和 XML 文档。使用 Jsoup 可以非常轻松地构建一些轻量级网络爬虫。
java爬虫——JSoup
LYQ
03-01 9481
JSoup JSoup 是用于提取和处理 HTML 数据的 Java 库。 它实现了 HTML5 规范，并将 HTML 解析为与现代浏览器相同的 DOM。 该项目的网站是 jsoup.org 。 JSoup 功能 使用 JSoup，我们能够： 从 URL，文件或字符串中抓取并解析 HTML 使用 DOM 遍历或 CSS 选择器查找和提取数据 处理 HTML 元素，属性和文本 根据安全的白名单清除用户提交的内容，以防止 XSS 攻击 输出整洁的 HTML JSoup Mavven 依赖
JSoup入门教程：HTML解析与环境设置详解
无涯教程网的《JSoup教程离线版》是一份针对Java开发者编写的关于JSoup库的详细介绍文档。JSoup是一款强大的HTML解析器，专为Java编程设计，它允许用户通过DOM（Document Object Model）、CSS选择器以及类似于jQuery...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值