BeautifulSoup通过lxml解析页面造成信息丢失的解决方法

最新推荐文章于 2024-09-19 11:21:52 发布
最新推荐文章于 2024-09-19 11:21:52 发布
阅读量1.7k 收藏
点赞数 1
分类专栏： Python Crawler 文章标签： Python BeautifulSoup lxml
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/taolusi/article/details/81074097
版权

在爬新浪财经的股吧评论的时候，使用第三方解析器lxml时出现了信息丢失的问题：

1 bsObj = BeautifulSoup(page, "lxml")

通过search，发现是通过lxml来解析页面时出现的问题。因此换用另一个解析器：html5lib，此解析器速度较慢，但容错性最好。

1 bsObj = BeautifulSoup(page, "html5lib")

关于各种解析器的介绍可以看一下Beautiful Soup的中文文档

taolusi
关注
专栏目录
BeautifulSoup及lxml使用小记
kelvinLLL的博客
02-23 1064
Bs4中常用findall与class_来寻找节点 book_cover=soup.find_all("div",class_='cover') 得到的结果是存在列表中的bs4 tree，仍旧可以用findall遍历   遇到有些只有标签的，没有任何属性的，想要的到标签中的内容，可以寻找兄弟节点 如find_next_siblings()找下一个兄弟节点
BeautifulSoup解析页面得到的信息不全
Khazking的博客
12-03 3204
soup = BeautifulSoup(page_text,'lxml') 信息丢失 soup = BeautifulSoup(page_text,'html.parser') 信息完整 原因是解析器的兼容性问题，此时可以更换解析器进行尝试
BeautifulSoup4 解析列表出现丢失（已解决）
Ginta的博客
04-10 1831
引言 我在爬取 建筑部企业项目信息的时候出现了数据丢失：以下 施工图审查 中一共有3组数据，当我遍历内容的时候发现数据停留在第一条的a标签就没有继续遍历了。 image.png 后来查看F12 image.png 这个数据的中间有时候会出现空格，或者换行，导致后面的td标签无法识别。原因在于选择的解析器没有把文档格式化，换成lxml就可以了。 from bs4 im...
BeautifulSoup与lxml解析网页：技术详解与实战案例
最新发布
这家伙很懒，什么都没有留下
09-19 1169
BeautifulSoup：一个Python库，用于解析HTML和XML文档，从中提取数据。它提供了简单而强大的API，用于遍历、搜索和修改解析树。lxml：一个高性能的HTML和XML解析库，基于C语言编写，因此速度极快。lxml支持XPath和CSS选择器，便于快速定位和提取数据。
BeautifulSoup解析页面造成信息丢失的解决办法
adinlead的博客
10-19 483
html = BeautifulSoup(content,"html.parser") #因为使用'lxml'会导致内容丢失,故此使用'html.parser'
python使用lxml及request爬取-python用lxml解析网页为什么不完整？
weixin_37988176的博客
11-01 673
url = "http://www.ygdy8.com/html/gndy/dyzz/index.html’req = urllib.request.Request(url)req.add_header("User-Agent", user_agent)html_temp = urllib.request.urlopen(req)网页上那一页，一共有25部电影的链接，...
使用BeautifulSoup爬取CSDN博客文章
helloworld的专栏
12-12 801
Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库 Requests is an elegant and simple HTTP library for Python, built for human beings. 通过Requests发起请求获取博客信息，然后再通过BeautifulSoup的基本应用，当然这里我们选取的是排名靠前的博客，注意如果是在内网
解析word文档，过程详细，易懂，代码可直接复用.rar
12-16
# 使用lxml解析XML from lxml import etree root = etree.fromstring(xml_content) # 提取文本 text = '' for para in root.findall('.//w:p'): for run in para.findall('.//w:r'): for text_node in run...
221018 Python学习：requests请求、请求的三种情况、json数据、bs4网页数据解析
Huela_Hu的博客
10-19 831
方式3：响应对象.json() — 对请求结果进行json解析返回结果(请求对象是json接口)— 以二进制的方式获取数据(请求对象是二进制数据，比如：下载图片，下载音视频等)dumps(python数据) — 将python数据转换成对应的json格式字符串。loads(json格式字符串) — 将json数据转换成对应的python数据。设置编码方式(在请求结果中有乱码的时候设置，设置成网页源代码中charset的值)— 以字符串的方式获取到数据(请求对象是网页)
PyWebCopy用Python编写的页面抓取和归档工具
08-10
PyWebCopy就是基于Python的一次实践，它使用了requests库来发送HTTP请求获取网页内容，BeautifulSoup或lxml解析HTML文档，然后利用urllib或其他方法下载和管理网页的静态资源。这种灵活的架构使得PyWebCopy能够处理...
关于使用Beautifulsoup解析网页标签属性丢失的解决方案
栀子枝头盛的博客
04-23 407
今天在使用Beautifulsoup解析某宝的网页代码时出现了这样的一幕：通过标签提取不到我想要的数据，然而我标签及其属性都没有写错。之后我对返回的源码进行了检查。相应的解决方案就是在获取网络源码后，使用Beautifulsoup解析时需要在函数里加上from_encoding='utf-8’这个参数。可以看到文本值为2023的span标签中的class值解析出来直接就没有了，而且解析的结果也很乱。这是通过Beautifulsoup解析源码后得到的与上图对应部分的结果。这是我通过检查元素看到的源码。
使用BeautifulSoup解析网页时漏掉了元素
jianai858的博客
07-16 828
使用soup=BeautifulSoup(res.text,"html.parser")解析网页时漏掉了元素 改为soup=BeautifulSoup(res.text, "lxml")问题得以解决。
python requests爬虫使用lxml解析HTML获取信息不对等的问题
笑笑布丁的博客
10-17 1464
python requests爬虫使用lxml解析HTML获取信息不对等的问题 我们在用lxml解析HTML文本时，有时会碰到标签有换行的情况，如果我们用获取xpath的方法，循环获得该元素下的所有text()文本，同一个标签会出现两段内容，解决办法是替换掉网页文本内容： url = 'http://******' data = requests.get(url) r = dat...
解析html之lxml包，提取html的数据
qq_41915576的博客
07-10 1019
解析html之lxml包 1 lxml的安装 安装方式：pip install lxml 2 lxml的使用 2.1 lxml模块的入门使用 导入lxml 的 etree 库 (导入没有提示不代表不能用) from lxml import etree 利用etree.HTML，将字符串转化为Element对象,Element对象具有xpath的方法,返回结果的列表，能够接受bytes类型的数据和s...
html5lib python_关于python：Beautifulsoup上下文中lxml和html5lib之间的差异
weixin_40002224的博客
12-14 328
在beautifulsoup中，lxml和html5lib解析器的功能之间是否有区别？ 我正在尝试学习使用BS4并使用以下代码构造-ret = requests.get('http://www.olivegarden.com')soup = BeautifulSoup(ret.text, 'html5lib')for item in soup.find_all('a'):print item['h...
python学习之——安装Beautifulsoup、requests、lxml
weixin_30670965的博客
11-23 290
安装Beautiful soup： 1、下载安装包，解压到python的安装目录； 2、cmd 进入安装包解压后的存放位置； 3、使用命令：python setup.py build ，python setup.py install 进行安装； 4、安装后验证，from bs4 import BeautifulSoup，不报错则表明安装成功； 安装requests： 说明：不...
python3用BeautifulSoup爬网页最后爬不出来数据
m0_67617941的博客
04-11 843
前面的代码也没有打错，返回的数值也是200 但是网页返回的数据只有两个单引号 已经大概打了十来遍了，一直都是返回单引号 全部代码 from bs4 import BeautifulSoup from urllib import request as rq from bs4 import BeautifulSoup as bs url='http://book.qidian.com/info/1015648531/' response.getcode() response=rq.ur..
爬虫beautifulsoup保留原文本页面格式
weixin_40547993的博客
04-06 4921
爬取某网站过程中，爬取的结果没有保留原文本页面格式，爬下来的内容都变成了一行 …… 原网站页面： html页面如下： 爬出来的结果全部连在一起，成了一段，部分内容如下： 二、民间借贷的分类民间借贷包括借和贷两个部分。传统的民间借贷以“借”为主，多以亲情、友情为纽带，主要表现为个人之间；而随着改革开放和市场经济的发展，企业与企业之间或企业与个...
python使用BeautifulSoup和lxml解析页面
07-24
Python 使用 `BeautifulSoup` 和 `lxml` 这两个库都是为了从 HTML 或 XML 文档中提取信息。它们主要用于网页爬取、数据抓取以及自动化处理网页内容。 ### Beautiful Soup **简介**: `BeautifulSoup` 是一个 Python 库，用于解析 HTML 或 XML 文件并提供一种简单的方式来提取和操作其结构化数据。它会将文件视为树形结构，并允许用户通过名称、属性或其他特征搜索元素。 #### 使用步骤: 1. **安装**: 可以通过 pip 安装 `beautifulsoup4`: ```bash pip install beautifulsoup4 ``` 2. **基本用法**: 首先导入 BeautifulSoup 并创建一个解析器对象，然后将其应用于 HTML 字符串。 ```python from bs4 import BeautifulSoup html_doc = """ <html><head><title>The Dormouse's story</title></head> <body> <p class="title"><b>The Dormouse's story</b></p> <p class="story">Once upon a time there were three little sisters; and their names were <a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>, <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>; </p> ... """ soup = BeautifulSoup(html_doc, 'html.parser') print(soup.title.string) # 输出<title>标签内的文本 ``` ### LXML **简介**: `lxml` 是一个强大的 HTML/XML 解析库，提供了比 `BeautifulSoup` 更快速更全面的 XML 和 HTML 解析功能。它整合了 libxml2 的所有特性，并且有完整的 DOM API 支持。 #### 使用步骤: 1. **安装**: ``` pip install lxml ``` 2. **基本用法**: 与 `BeautifulSoup` 类似，你可以使用 `lxml.html` 来解析 HTML。 ```python from lxml import html html_text = """ <!DOCTYPE html> <html> <body> <p>...</p> </body> </html> """ root = html.fromstring(html_text) for link in root.xpath('//a'): print(link.text_content()) ``` ### 对比 - **性能**: `lxml` 因其底层依赖于 C 编写的 libxml2，通常在大量数据处理时速度更快。 - **功能**: `lxml` 提供更多高级功能和优化，如 XPath 支持等，对于复杂的数据抽取需求更有优势。 - **易用性**: `BeautifulSoup` 相对更易于学习和使用，特别是对于初学者来说。 ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值