（java）jsoup爬取动态网页的另辟方法

最新推荐文章于 2023-05-26 13:11:20 发布
置顶 最新推荐文章于 2023-05-26 13:11:20 发布
阅读量2.1k 收藏 2
点赞数 3
文章标签： java eclipse mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42289137/article/details/107082201
版权

jsoup爬取

jsoup只适用于爬取静态网页，爬取动态网页时往往获取不到数据，此时不想使用其他框架可参照以下自创方法获取：
1.打开先要爬取的页面按f12用定位光标将elements内容全部展开，复制elements中的全部内容
2.打开eclipse创建一个动态web项目并创建一个html文件
3.将复制的elements中的内容粘贴在html中并运行
4.jsoup爬取本地运行tomcat网址就可以按照正常网页爬取步骤进行爬取

注：此方法只适用于暂时不太熟悉爬虫框架并且少量爬取工程，如有精力还是要好好深入学习爬虫，如有用处请给博主点个赞

晶少
关注
  • 3
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Java爬虫工具包（Jsoup）爬取网页代码
s17856147699的博客
10-30 1403
Java爬虫工具包（Jsoup）爬取网页代码
httpClient+jsoup 抓取网页数据
04-18
利用httpClient+jsoup技术进行网页数据的获取，以网易贵金属为例~
Jsoup配合使用htmlunit爬取动态页面
范栩的博客
01-25 2384
今天使用jsoup在做爬虫的功能的时候，发现jsoup只能爬取静态页面，对于ajax和json动态生成的页面的支持并不友好。 于是我尝试直接用请求发送param和数据头，希望能直接返回json数据，但可能是由于网站接口不支持没能成功。 在尝试其他方法之后，从网上发现可以使用htmlunit模拟浏览器，生成动态的网页之后，再用jsoup对生成的动态网页进行解析 以下是pom.xml maven依赖代码 <dependencies> <!--jsoup-->
【Java-Crawler】爬取动态页面（HtmlUnit、WebMagic）
最新发布
qq_63691275的博客
05-26 2333
简单易用的工具——HtmlUnit，它可以模拟浏览器的行为，支持JavaScript解析和执行，可以用于解析动态页面。但它解析JavaScript的时候也是比较慢的，但后续用 WebMagic 去处理静态页面就快起来了。就比如说处理某网站的主页（动态页面）是需要解析JavaScript的，但主页里面的超链接对应的网页是静态网页，这可以直接用WebMagic去处理就可以了，速度就有了。
Java爬虫之学习篇 Jsoup爬取页面
qq_42082278的博客
06-20 678
写一篇有关jsoup的总结： jsoup官方的文档：https://www.open-open.com/jsoup/ 这是一篇中文的文档，非常值得看 jsoup抓取页面的3种方法； 二、parse 三、Jsoup.connect(url)，用的比较多 分析一下抓取的页面，页面的请求的方式。一般为两种 get,post请求. get请求直接将参数直接放在url中 ： Document doc ...
java通过Jsoup爬取网页过程详解
10-16
主要介绍了java通过Jsoup爬取网页过程详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
SpringBoot中使用Jsoup爬取网站数据的方法
10-15
然后，定义一个方法，比如`fetchWebsiteData(String url)`，该方法接收一个URL字符串作为参数，使用Jsoup的`connect()`方法连接到指定的网页，并使用`get()`方法获取HTML文档： ```java public Document ...
Java爬虫Jsoup+httpclient获取动态生成的数据
10-19
主要介绍了Java爬虫Jsoup+httpclient获取动态生成的数据的相关资料,需要的朋友可以参考下
java课程设计java jsoup 爬取1688网站信息，详细例子
08-24
在这个项目中，我们关注的是使用Java和Jsoup库来爬取1688网站的信息。这是一个非常实用的技术，它可以帮助我们自动化地获取网页上的数据，如商品名称、价格、评价等，为数据分析或构建电商平台的模拟系统提供基础。 ...
jsoup爬取网页数据
09-05
jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。 1. 从一个URL，文件或字符串中解析HTML； 2. 使用...
JAVA 采用htmlunit和Jsoup爬取网站详情，处理请求重定向得到重定向网站。以及使用代理进行网站访问
public_pig的博客
02-25 1520
JAVA 采用htmlunit和Jsoup爬取网站详情，处理请求重定向得到重定向网站。以及使用代理进行网站访问
jsoup抓取页面与页面解析提取数据
梁野的博客
08-27 2765
首先科普下什么是jsoup： jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。
java爬虫系列（二）——爬取动态网页
Mr_OOO的博客
01-01 1万+
准备工作 项目地址 网页解析工具地址 启动网页解析器 根据系统选择所需文件 指定端口号启动工具 项目配置 seimi.properties SeimiAgentDemo.java 分析原网页代码 Boot.java 同系列文章 准备工作 新手的话推荐使用seimiagent+seimicrawler的爬取方式，非常容易上手，轻松爬取动态网页，目测初步上手10分钟以内...
Java爬虫学习:使用HtmlUnit获取html页面
johnson_moon的博客
11-06 9739
通过HtmlUnit库，加载一个完整的Html页面（图片视频除外），然后就可以将其转换成我们常用的字串格式，用其他工具如Jsoup来获取其中的元素了。当然也可以直接在HtmlUnit提供的对象中获取网页元素，甚至是操作如按钮、表单等控件。除了不能像可见浏览器一样用鼠标键盘浏览网页之外，我们可以用HtmlUnit来模拟操作其他的一切操作，像登录网站，撰写博客等等都是可以完成的。
Android 通过okhttp + jsoup 爬虫爬取网页小说
闲云潭影日悠悠,物换星移几度秋
11-16 1561
Android 通过okhttp + jsoup 爬取网页小说
用jsoup 模拟登陆验证码，rsa 密码加密
Ruby_GZ的博客
06-11 865
这个问题拖了快两个月了，这段时间比较忙，一直都没有解决他，刚好赶上端午，就处理掉， 遇到的问题:jsoup进行爬取，需要用户登陆，首先是有验证码，没什么好说，网上资源一大把，而且我爬取的网站的验证码相对比较简单，无需太大复杂的操作。不做赘叙，比较困难的是密码是用rsa 进行数据加密，我查了很多资料，希望在java 模拟加密，但均失败，后来在网上资料的提醒下，使用java 调用 js 代码，直接使...
Java爬虫——phantomjs抓取ajax动态加载网页
CherishL_的专栏
08-10 3403
转载： http://blog.csdn.net/eq___/article/details/52721732
java调用phantomjs爬取动态网页
weixin_43774331的博客
02-12 680
1、下载phantomjs。phantomjs的下载地址：http://npm.taobao.org/dist/phantomjs/ 2、将压缩包解压到自己选择的一个地址（我选的是D:\software\phantomjs） 3、编写js文件，我将js文件放在D:\software\phantomjs\codes.js，该路径会在java程序中以绝对路径调用。 //codes.js system ...
[Jsoup] 使用HtmlUnit + Jsoup解析js动态生成的网页
热门推荐
我在山城重庆，我希望能为这片软件沙漠地带贡献自己的一滴水，Stay tuned!
01-12 1万+
在使用Jsoup过程中会遇到无法解析通过javascript动态生成的html网页, 在Jsoup交流群中也经常会有人问到这个问题, 本文的解决办法是使用HtmlUnit+Jsoup来解析动态dynamic网页. 一般会出现动态js加载的网页源码为, 某些关键性数据, 比如某简历网站的年份, 薪金等敏感数据信息, 也比如某些网站动态加载出来的新闻, 公告, 也比如某些网站在生成快照的时候的更新时间, 这些都可能是通过js动态生成的DOM元素后进行加载的. Jsoup专注的是解析html, 利用类似JQu
java中jsoup爬取网页的多种案例
03-29
1. 爬取网页标题 使用Jsoup.connect()连接到目标网页并使用get()方法获取网页内容。然后使用select()方法选取网页中的标题元素。 ``` Document doc = Jsoup.connect("http://www.example.com/").get(); String title = doc.select("title").text(); System.out.println(title); ``` 2. 爬取网页中的所有链接 使用Jsoup.connect()连接到目标网页并使用get()方法获取网页内容。然后使用select()方法选取网页中的所有链接元素，并遍历每个元素提取链接地址。 ``` Document doc = Jsoup.connect("http://www.example.com/").get(); Elements links = doc.select("a[href]"); for (Element link : links) { String linkUrl = link.attr("href"); System.out.println(linkUrl); } ``` 3. 爬取网页中的图片链接 使用Jsoup.connect()连接到目标网页并使用get()方法获取网页内容。然后使用select()方法选取网页中的所有图片元素，并遍历每个元素提取图片地址。 ``` Document doc = Jsoup.connect("http://www.example.com/").get(); Elements images = doc.select("img[src]"); for (Element image : images) { String imageUrl = image.attr("src"); System.out.println(imageUrl); } ``` 4. 爬取网页中的表格数据 使用Jsoup.connect()连接到目标网页并使用get()方法获取网页内容。然后使用select()方法选取网页中的所有表格元素，并遍历每个元素提取表格数据。 ``` Document doc = Jsoup.connect("http://www.example.com/").get(); Elements tables = doc.select("table"); for (Element table : tables) { Elements rows = table.select("tr"); for (Element row : rows) { Elements cells = row.select("td"); for (Element cell : cells) { String cellText = cell.text(); System.out.println(cellText); } } } ``` 5. 爬取网页中的表单数据 使用Jsoup.connect()连接到目标网页并使用get()方法获取网页内容。然后使用select()方法选取网页中的所有表单元素，并遍历每个元素提取表单数据。 ``` Document doc = Jsoup.connect("http://www.example.com/").get(); Elements forms = doc.select("form"); for (Element form : forms) { String actionUrl = form.attr("action"); String method = form.attr("method"); System.out.println("Action URL: " + actionUrl); System.out.println("Method: " + method); Elements inputs = form.select("input"); for (Element input : inputs) { String name = input.attr("name"); String value = input.attr("value"); System.out.println(name + ": " + value); } } ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值