jsoup 获取不到全部html_爬虫学习之Jsoup练习

最新推荐文章于 2023-04-14 11:21:11 发布
最新推荐文章于 2023-04-14 11:21:11 发布
阅读量292 收藏
点赞数
文章标签： jsoup 获取不到全部html
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42552716/article/details/112078248
版权

Jsoup

抓取网页后，需要对网页解析，可以使用字符串处理工具解析页面，也可以使用正则表达式

jsoup 的作用：是一款 Java 的HTML 解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于JQuery的操作方法来取出和操作数据

jsoup的主要功能如下：

1.从一个URL，文件或字符串中解析HTML；

2.使用DOM或CSS选择器来查找、取出数据；

3.可操作HTML元素、属性、文本；

创建练习类

ba720e7501e340429b6d8a8fbcafd7ae.png

解析URL

第一个参数是访问的url，第二个参数是访问的超时时间

2f736940b71418a332c58ca778809f8b.png

使用标签选择器，获取title标签中的内容

64322b2832e3ccf7175f31af13049583.png

输出结果

1e090e5e75a7e3b96e6d89461045ee82.png

读取文件

准备一个简易的HTML文件

2a14704e6f0235eb3636279f5ca4d1c2.png

获取这个

cc086ddaa1791bfb450dffe6a68feacf.png

读取文件，获取字符串，代码及结果

05f2d9e4bbba7ab21849b0fa466ca9a3.png

使用dom方式遍历文档

解析文件获取document对象

e99589af9a7e995344d88f5087fa713a.png

依据id获取，这个是id的内容，我们获取这个内容

9f65f25fb8a5340cbc9c09d60514cd7b.png

编写代码，显示结果

090d1153b741bcc183d86609e1cf372d.png

依据标签获取，我们获取这个标签的内容

3373e6951b4ec2c260d84a2b47ce3815.png

代码及结果

be3d6121d564755f5e891c5ca329ac6b.png

依据class获取，获取内容

c7d3bff3858fe728b1c63255686036e8.png

代码和结果

f35367773887d871e793936ae7aaa126.png

依据属性，属性内容

e715e2f9618bfab62da332bdef8cb8cf.png

代码和结果

786705d2e64936228c2f9aa5f0bb23c1.png

接下来从元素中获取数据

首先从元素中获取ID

c55702065a91e376dab5349b36e06c84.png

从元素中获取className

文本

7bb11ace9df6ec0fbcd17ff6d6ef7c84.png

代码及结果

729a37cfa111c51afc9a959363fba285.png

如果内容是两个class

de49b574c7c5cc3e93f950e6165d3fed.png

那么代码及结果

c0004d60ab8ea917d60599e7c091b07a.png

从元素中获取属性

45c8ea44e74203f954722d648d0c3104.png

代码及结果

defd58445924bac9353c1d4c9fbda657.png

获取元素的所有属性

5dad75f2d1d8106b00ca986b772b04c1.png

代码及结果

1e6742de42942fadb247429fae6d3ad6.png

从元素中获取文本内容，这个之前有，代码和结果

e0cb8f2cbeda9051ab5d39a256057d66.png
22a07e76c1a5fc01b9254e5f6f78a4e7.png
JuicyMio
关注
Java爬虫Jsoup+httpclient获取动态生成的数据
10-19
Jsoup可以连接到网络上的页面，发送请求并获取响应，然后解析HTML内容，以方便开发者获取和操作文档结构、表单、链接、图片等信息。 ### HttpClient工具包 HttpClient是Apache提供的一个用于发送HTTP请求的客户端...
【爬虫】5.3 Selenium 查找HTML元素
Jack
06-30 3590
Selenium 提取HTML元素函数/方法
selenium爬取网页部分HTML代码
Peter_cat0的博客
08-10 3819
selenium获取网页部分HTML代码。
selenium获取元素html,selenium获取元素内容，iframe切换，和常用方法
weixin_42178688的博客
06-10 2062
获取元素信息1.text 属性，显示该元素在web页面显示出来的文本内容2.get_attribute方法获取某个属性的值：element.get_attribute(元素属性)element.get_attribute('href')element.get_attribute('style')获取该元素对应HTML源代码：element.get_attribute('outerHTML')获...
selenium 查找 HTML 元素
Heart_for_Ling的博客
12-20 1398
♯
selenium 获取特定div的HTML代码
m0_61173140的博客
04-14 950
selenium 获取特定div的HTML代码
jsoup基于java爬虫项目
最新发布
03-27
jsoup是一款Java的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。 Jsoup的主要功能 1）从一个URL，文件或字符串中...
java获取文件编码,jsoup获取html纯文本操作
10-14
// 获取所有一级到三级标题 for (Element heading : headings) { System.out.println(heading.text()); } ``` 总结起来，Java中获取文件编码的关键在于使用ICU4J库，而Jsoup则是一个强大的工具，用于解析和提取...
jsoup爬虫学习之爬取博客（包含jsoup jar包）
11-13
通过学习如何使用`jsoup`爬虫，我们可以从各种博客和其他网站获取有价值的信息，例如文章内容、作者信息、评论等。 首先，让我们理解`jsoup`的基本概念。`jsoup`设计灵感来源于jQuery，因此它的API对于熟悉...
jsoup爬虫获取某网站的信息
11-30
使用jsoup技术连接网站地址，通过改变参数获取网站div...项目中包括dbutil链接数据库的工具类，执行sql的helper工具类，获取网站div图片保存到本地的工具类信息，包括了jsoup1.10.1的jar包和commom-dbutils1.5的jar包；
Python使用Selenium Webdriver爬取网页所有内容
热门推荐
hubing_hust的专栏
12-14 1万+
对于抓不到全部html内容的情况，我们能采取什么应对措施呢，本文介绍一种可行的方法，就是通过Selenium webdriver来模拟浏览器运行的方式，这样就可以做到在浏览器中看到是什么样，抓取的源码就是什么样，也就是可见即可爬。在浏览器中打开这个页面时，首先会加载这个HTML内容，接着浏览器会发现其中引入了一个app.js文件，然后便会接着去请求这个文件，获取到该文件后，便会执行其中的JavaScript代码，而JavaScript则会改变HTML中的节点，向其中添加内容，最后得到完整的页面。
Jsoup解析HTML时，明明获取到html页面信息却无法解析到数据（已解决）
记录一只菜鸡的成长之路
10-04 3224
1.解决方式： 修改获取html页面时候的 user-agent 参数 删除掉里面的 Chrome/25.0.1364.160 Safari/537.22这两个即可 2.原因： 起因是今天有点不太想学别的了，就打算写写爬虫啥的，放松放松，然后就遇到了这个问题： 我明明获取到html的页面了，也获取到html所有的信息了，但是jsoup就是解析不到数据 测试代码长这样： @Test public void test() throws IOException { String u
JSoup解析html常见问题
xqhadoop的博客
07-13 2629
之前写了一个关于抓所以取某个网站用户信息的程序,大量的用到了关于JSoup解析html的知识。并且其中也遇到了一些问题,这类问题在我们以后的开发过程中可能还有机会遇到,所以今天在这里对这块做个总结。 一.Jsoup如何根据url获得对应的网页Document文档 1.常见写法   doc=Jsoup.parse(new URL(url),4000);//参数2是连接超时设置,一旦超时
Python爬虫：selenium动态加载HTML的常用方法【汇总笔记】
Java Punk
09-30 6249
selenium动态加载HTML的常用方法，包括：获取节点，获取节点属性、值，页面交互、等待等方法
Jsoup爬取html数据
小汤圆的博客
07-27 1104
1.Jsoup是什么？ jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。 2.Jsoup的主要功能？ 从一个URL，文件或字符串中解析HTML；使用DOM或CSS选择器来查找、取出数据；可操作HTML元素、属性、文本。 3.Jsoup怎么用？ 可以...
Java通过Jsoup解析Html
qq_43429919的博客
02-18 2396
Java通过Jsoup解析Html 从HTML文件中解析需要的数据，通常使用正则匹配可以实现，也可以使用Jsoup实现 Jsoup官网：https://jsoup.org/ maven maven项目在pom.xml中引入jsoup依赖包 <dependency> <!-- jsoup HTML parser library @ https://jsoup.org/ --> <groupId>org.jsou
Java 解决 Jsoup 因为未加载完毕获取不到页面数据
zuichu_2001的博客
09-23 2986
使用 Jsoup 爬取页面数据页面也因为加载获取不到 我采用了Selenium 自动化测试 + Jsoup 结合 //根据谷歌浏览器版本下载 chromedriver.exe 下载地址 http://npm.taobao.org/mirrors/chromedriver System.setProperty(“webdriver.chrome.driver”, “F:\Python39\chromedriver.exe”); //创建一个WebDriver WebDriver driver = new C
jsoup 获取文档不全的解决方法
nonobabaya的博客
02-22 2695
jsoup是个好东东，有了它，再也不用从底层开始解析html文档了，而且如果文档是xml或者json的，利用它做转换也是极好极方便的，而且如果你访问的url存在302跳转，他回直接解析跳转后的内容，太强大了，不过在解析html的时候我发现了一个问题，代码如下 [code="java"] Document doc = Jsoup.connect(WEIXIN_GET_MSG_ANAL...
JAVA爬虫 使用jsoup爬取html网页数据get&post
weixin_43200946的博客
09-27 1085
JAVA爬虫 使用jsoup爬取html网页数据get&post 1.导入POM依赖 <dependency> <!-- jsoup --> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifactId> <version>1.13.1</version> </dependency> 在这之前我这边就以爬取jd的
探索jsoup-1.13.1.jar：Java爬虫框架解析与应用
资源摘要信息:"jsoup-1.13.1.jar是一个Java平台上的爬虫框架，主要用于抓取和解析网页内容。jsoup是一个强大的HTML解析器...其简单的API设计和丰富的功能，使得它成为了Java开发者在处理网页数据时不可或缺的工具之一。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值