Jsoup获取网页中以javascript加载的数据的方法

最新推荐文章于 2023-09-18 14:34:51 发布
最新推荐文章于 2023-09-18 14:34:51 发布
阅读量4.4k 收藏 2
点赞数 2
文章标签： Jsoup
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44594056/article/details/87823922
版权

Jsoup是一款java的HTML解析器，可以帮助我们在网页中获得更多数据源，但是有的信息浏览器中显示了，却无法抓取信息，应为该信息不是直接在标签内的，而是元素加载完成事件，javascript加载完成获取数据，而Jsoup不是浏览器，无法运行javascript.原理图如下![解析过程图(https://img-blog.csdnimg.cn/20190220211600499.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU5NDA1Ng==,size_16,color_FFFFFF,t_70)
接下来为大家带来两种解决方法。

  • 通过Jsoup获取页面对象，获取javascript解析，该方法代码复杂，难度高，不建议使用。
  • 使用PhantomJs+Selenium工具模拟浏览器运行，实现流程如下：实现流程

Phantomjs是基于webkit内核的无头浏览器，提供各种系统版本可支持不同平台，并提供javascript API接口
官网下载：http://phantomjs.org/download.html

戴眼镜的小青年
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Java网络爬虫——jsoup快速上手，爬取京东数据。同时解决‘京东安全’防爬问题
m0_59598029的博客
02-22 1748
网络爬虫，就是在浏览器上，代替人类爬取数据，Java网络爬虫就是通过Java编写爬虫代码，代替人类从网络上爬取信息数据。程序员通过设定既定的规则，让程序代替我们从网络上获取海量我们需要的数据，比如图片，企业信息等。爬虫的关键是对于网页信息的解析。jsoup是一个用于处理现实世界HTML的Java库。它提供了一个非常方便的API，用于获取URL以及提取和操作数据，使用最好的HTML5DOM方法和CSS选择器。
props2js工具
03-12
读取Java属性文件，并给出Json、Jsoup、JavaScript3种格式的输出。（Nicholas C.Zakas编写）
Jsoup（一）Jsoup详解（官方）
a878787877的专栏
12-14 2199
一、Jsoup概述 1.1、简介 jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API， 　可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。 1.2、Jsoup的主要功能 1）从一个URL，文件或字符串中解析HTML 2）使用DOM或CSS选择器来查找、取出数据 ...
Jsoup详解
cuishouming的博客
07-23 2万+
一、Jsoup概述 1.1、简介     jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API， 　可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。 1.2、Jsoup的主要功能     1）从一个URL，文件或字符串中解析HTML     2）使用DOM或CSS选择器来查找、取出数据     3...
深入理解Jsoup：Java的HTML解析神器
djmacdtr的博客
05-13 1986
在这篇文章中，我们深入探讨了Jsoup，这是一个用于处理HTML的强大Java库。我们首先了解了Jsoup的基本概念，然后通过实际示例展示了如何使用Jsoup来解析HTML，提取元素和数据。我们进一步探讨了Jsoup的常用方法，如连接和获取文档，查询和提取元素等。此外，我们还讨论了Jsoup在网络爬虫中的应用，并展示了一个简单的网络爬虫示例。最后，我们对Jsoup进行了横向对比，与JDOM、DOM4J、HTMLUnit等其他HTML处理技术进行了比较。
htmlunit配合jsoup获取动态页面
lilianggui的博客
10-13 2494
jsoup只能解析静态的html页面，如果页面由js动态生成的，jsoup就无从下手了，使用htmlunit可以获取js运行后的页面，还可以模拟浏览器点击页面上的元素等，非常强大，本文介绍htmlunit的简单使用。步骤如下： 1、引入依赖 <dependency> <groupId>net.sourceforge.htmlunit</groupId&g...
httpClient+jsoup 抓取网页数据
04-18
实际操作时，可能还需要考虑登录、分页、动态加载等问题，这些可以通过HttpClient设置cookie和处理重定向，或者使用Jsoup的Jsoup.connect模拟JavaScript执行来解决。 总之，HttpClient和Jsoup是Java开发者进行网页...
jsoup获取网页正文
08-26
**jsoup库详解及其在获取网页正文中的应用** 在网页数据抓取和处理领域，`jsoup`是一个非常实用的Java库，它提供了强大的HTML解析和操作功能。jsoup能够帮助开发者有效地解析网页内容，提取关键信息，尤其是网页...
java抓取网页数据获取网页中所有的链接实例分享
09-04
在`parser()`方法中，通过`URL`和`HttpURLConnection`类建立与目标网页的连接，设置请求属性并获取响应。接着，使用`getContentType()`方法获取服务器返回的MIME类型，从中提取出网页的字符编码。然后，通过`...
jsoup分页爬取网页
12-26
**jsoup分页爬取网页** Jsoup是一个Java库，设计用于处理和解析HTML，它提供了...但需要注意，随着网页复杂性的增加，可能需要结合其他工具或库来处理JavaScript动态加载的内容，jsoup本身并不支持执行JavaScript。
利用jsoup解析网页
12-04
本文将深入探讨jsoup的核心功能及其在网页解析中的应用。 首先，我们需要理解jsoup的基本概念。它基于Java的标准库javax.swing.text.html.parser，但提供了更友好的接口。jsoup能够解析HTML文档，并将其转换为一个...
Java使用Jsoup获取网页指定元素
weixin_42260782的博客
06-01 876
Java使用jsoup抓取网页页面指定元素内容
java网络爬虫-jsoup抓取js(script)中的变量值
热门推荐
weinichendian的博客
05-24 3万+
package com.hxqc.pricemonitor.trans; import java.util.HashMap; import java.util.Map; import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.nodes.Element; import org.jsoup.selec...
Java 解决 Jsoup 因为未加载完毕获取不到页面数据
zuichu_2001的博客
09-23 2801
使用 Jsoup 爬取页面数据页面也因为加载获取不到 我采用了Selenium 自动化测试 + Jsoup 结合 //根据谷歌浏览器版本下载 chromedriver.exe 下载地址 http://npm.taobao.org/mirrors/chromedriver System.setProperty(“webdriver.chrome.driver”, “F:\Python39\chromedriver.exe”); //创建一个WebDriver WebDriver driver = new C
Java爬虫Jsoup篇
yangsf_的博客
05-01 2644
使用html解析器，解析网页
jsoup抓取html中的js,jsoup 抓取javascript代码 求详解 （汽车之家 ）
weixin_35639750的博客
06-02 459
packagecom.youche.data.carmodel.carfamily;importorg.jsoup.nodes.Document;importorg.jsoup.nodes.Element;importorg.jsoup.select.Elements;importcom.youche.data.carmodel.crawler.DatabaseOperator;impo...
jsoup获取script标签中的内容
最新发布
YBSDWY的博客
09-18 713
if (script!= null) {
初学java爬虫，用htmlunit + jsoup解析JavaScript
Mervyn的博客
03-24 1160
在用jsoup爬晋江的时候，模拟登陆后仍获取不到v章内容。经验证，是因为jsoup无法解析JavaScript，而v章内容是js动态获取的。经过查阅资料，最后使用htmlunit+jsoup来实现 登陆和获取cookies在上一篇已经写了，不再赘述。 public static String getChapterContent(Chapter chapter, String novelUrl) ...
java中jsoup爬取网页中存在分页的数据如何爬取
03-29
使用Jsoup爬取分页数据的步骤如下： 1. 定义要爬取的网页地址和需要爬取的内容。 2. 使用Jsoup连接网页，获取网页内容。 3. 使用Jsoup解析网页内容，提取需要的数据。 4. 如果网页中存在多页数据，使用循环遍历所有网页，重复步骤2和步骤3。 5. 将提取的数据保存到本地或数据库中。 下面是一个示例代码，演示如何使用Jsoup爬取分页数据： ```java import java.io.IOException; import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.nodes.Element; import org.jsoup.select.Elements; public class PageCrawler { public static void main(String[] args) throws IOException { // 定义要爬取的网页地址和需要爬取的内容 String url = "https://example.com/page/1"; String cssSelector = ".list-item"; // 使用Jsoup连接网页，获取网页内容 Document doc = Jsoup.connect(url).get(); // 使用Jsoup解析网页内容，提取需要的数据 Elements items = doc.select(cssSelector); for (Element item : items) { // 处理每个数据项 String title = item.select(".title").text(); String description = item.select(".description").text(); System.out.println(title); System.out.println(description); System.out.println("------------"); } // 如果网页中存在多页数据，使用循环遍历所有网页 for (int i = 2; i <= 10; i++) { String nextUrl = "https://example.com/page/" + i; doc = Jsoup.connect(nextUrl).get(); items = doc.select(cssSelector); for (Element item : items) { // 处理每个数据项 String title = item.select(".title").text(); String description = item.select(".description").text(); System.out.println(title); System.out.println(description); System.out.println("------------"); } } // 将提取的数据保存到本地或数据库中 // ... } } ``` 在示例代码中，我们首先定义了要爬取的网页地址和需要爬取的内容。 然后，我们使用Jsoup连接网页，获取网页内容，并使用Jsoup解析网页内容，提取需要的数据。 如果网页中存在多页数据，我们使用循环遍历所有网页，重复步骤2和步骤3。 最后，我们可以将提取的数据保存到本地或数据库中。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值