获取请求中的lxml文本后的清洗步骤

最新推荐文章于 2021-12-01 09:21:48 发布
最新推荐文章于 2021-12-01 09:21:48 发布
阅读量203 收藏
点赞数
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38858443/article/details/107941181
版权

我在一个实验中，需要获得key为list对应的值，值是lxml文本，最后交给beautifulSoup解析，所以对文本格式要求严格。

从网页请求中的数据往往是json格式数据。我们通过爬虫获取时，一般不能直接得到原始的json，而是首先得到byte或str再转成dic或json【这里我们不严格比较dic和json的差异了】，进而获得值。

这里记录下我的清洗方法。我们直接读取的结果是【省略了很多】：

b'{"list":"            \\n        <div class=\\"row row-line \\">\\n            <div class=\\"wrapper\\">\\n                                                        <div class=\\"line-panel clearfix\\">\\n                        <dl class=\\"lp-detail\\">\\n                            <dt>\\n                            <div class=\\"days-season\\">\\n                                                                <span class=\\"item\\">\\n                                    <i class=\\"icon-days\\"><\\/i>\\n                                    \\u6e38\\u73a9\\u65f6\\u95f4\\uff1a<strong>6\\u5929<\\/strong>\\n                                <\\/span>\\n                                <span class=\\"divide\\"><\\/span>\\n                                                                                                <span class=\\"item\\">\\n                                    <i class=\\"icon-season\\"><\\/i>\\n                                    \\u6700\\u4f73\\u5b63\\u8282\\uff1a<strong>\\u5168\\u5e74<\\/strong>\\n                                <\\/span>\\n                                                            <\\/div>\\n                            <a href=\\"\\/mdd\\/cityroute\\/10065_5934.html\\" target=\\"_blank\\">\\n                                <h2>\\u5317\\u4eac6\\u65e5\\u7ecf\\u5178\\u7ebf\\u8def<\\/h2>\\n                                <p><em>35%<\\/em>\\u8702\\u8702\\u4f1a\\u9009\\u62e9\\u8fd9\\u6761\\u7ebf\\u8def<\\/p>                            <\\/a>\\n                            <\\/dt>\\n                            <dd>\\n                                                                                                                                                                                                                                                                                                                                                                                                                <p>D1\\n                                                                            <a class=\\"cityroutetext\\" href=\\"\\/mdd\\/cityroute\\/10065_5934.html\\" target=\\"_blank\\">\\n                                            <span>\\u5929\\u5b89\\u95e8\\u5e7f\\u573a<\\/span>\\n                                        <\\/a>\\n                                                                            <a class=\\"cityroutetext\\" href=\\"\\/mdd\\/cityroute\\/10065_5934.html\\" target=\\"_blank\\">\\n                                            <span class=\\"arrow\\">\\u2192<\\/span><span>\\u524d\\u95e8\\u5927\\u8857<\\/span>\\n                                        <\\/a>\\n                                                                            <a class=\\"cityroutetext\\" href=\\"\\/mdd\\/cityroute\\/10065_5934.html\\" target=\\"_blank\\">\\n                                            <span class=\\"arrow\\">\\u2192<\\/span><span>\\u5317\\u4eac\\u5168\\u805a\\u5fb7(\\u524d\\u95e8\\u5e97)<\\/span>\\n                                        <\\/a>\\n                                                                            <a class=\\"cityroutetext\\" href=\\"\\/mdd\\/cityroute\\/10065_5934.html\\" target=\\"_blank\\">\\n                                            <span class=\\"arrow\\">\\u2192<\\/span><span>\\u6545\\u5bab<\\/span>\\n                                        <\\/a>\\n                                                                            <a class=\\"cityroutetext\\" href=\\"\\/mdd\\/cityroute\\/10065_5934.html\\" target=\\"_blank\\">\\n                                            <span class=\\"arrow\\">\\u2192<\\/span><span>\\u666f\\u5c71\\u516c\\u56ed<\\/span>\\n                                        <\\/a>\\n                                                                        <\\/p>\\n                                                                                                                                                                                <p>D2\\n                                                                            <a class=\\"cityroutetext\\" href=\\"\\/mdd\\/cityroute\\/10065_5934.html\\" target=\\"_blank\\">\\n                                            <span>\\u5929\\u575b<\\/span>\\n                                        <\\/a>

...

"}'

依据我的需求，直接读取的文本有以下问题：

  • 得到的字符串文本是byte类型，而原始的是json
  • lxml标签文本输出为Unicode编码，无法显示人类能理解的文字
  • 闭合标签（右标签）的 斜杠 / ，左边留下了多余的//
  • 换行转义字符\n由于多了一个\变成了\\，导致直接输出了\\n

于是，我们需要做以下四件事：

  • 把byte转换为str（byte不能直接转dic,必须通过str过渡）

  • 把str转换为dic

  • 获取dic中，键list对应的值

  • 继续处理值中的斜杠

Step1:把byte转换为str

r = requests.post(url,headers=headers,data=post_data)
# apparent_encoding是机器识别出的编码类型，encoding是请求获得的编码类型。前者更加精确
r.encoding=r.apparent_encoding
#byte转str
str_r_con=bytes.decode(r.content,encoding=r.encoding)

Step2:把str转换为dic

 # str转dic
    dic_r_con = eval(str_r_con)

Step3:获取dic中，键list对应的值

value=dic_r_con['list']

至此，我们输出value的值看看，以下是一部分。

 <div class="row row-line ">
            <div class="wrapper">
                                                        <div class="line-panel clearfix">
                        <dl class="lp-detail">
                            <dt>
                            <div class="days-season">
                                                                <span class="item">
                                    <i class="icon-days"><\/i>
                                    游玩时间：<strong>6天<\/strong>
                                <\/span>
                                <span class="divide"><\/span>
                                                                                                <span class="item">
                                    <i class="icon-season"><\/i>
                                    最佳季节：<strong>全年<\/strong>
                                <\/span>
                                                            <\/div>
                            <a href="\/mdd\/cityroute\/10065_5934.html" target="_blank">
                                <h2>北京6日经典线路<\/h2>
                                <p><em>35%<\/em>蜂蜂会选择这条线路<\/p>                            <\/a>
                            <\/dt>
                            <dd>
                                                                                                                                                                                                                                                                                                                                                                                                                <p>D1
                                                                            <a class="cityroutetext" href="\/mdd\/cityroute\/10065_5934.html" target="_blank">
                                            <span>天安门广场<\/span>
                                        <\/a>
                                                                            <a class="cityroutetext" href="\/mdd\/cityroute\/10065_5934.html" target="_blank">
                                            <span class="arrow">→<\/span><span>前门大街<\/span>

我们发现还存在一个问题，所有的 单斜杠 / 都变成了双斜杠 //，这是我们不允许的。所以有了第四步，很简单，替换就好。

Step4:继续处理值中的斜杠

res=value.replace('\/','/')

结果：

            
        <div class="row row-line ">
            <div class="wrapper">
                                                        <div class="line-panel clearfix">
                        <dl class="lp-detail">
                            <dt>
                            <div class="days-season">
                                                                <span class="item">
                                    <i class="icon-days"></i>
                                    游玩时间：<strong>6天</strong>
                                </span>
                                <span class="divide"></span>
                                                                                                <span class="item">
                                    <i class="icon-season"></i>
                                    最佳季节：<strong>全年</strong>
                                </span>
                                                            </div>
                            <a href="/mdd/cityroute/10065_5934.html" target="_blank">
                                <h2>北京6日经典线路</h2>
                                <p><em>35%</em>蜂蜂会选择这条线路</p>                            </a>
                            </dt>
                            <dd>
                                                                                                                                                                                                                                                                                                                                                                                                                <p>D1
                                                                            <a class="cityroutetext" href="/mdd/cityroute/10065_5934.html" target="_blank">
                                            <span>天安门广场</span>
                                        </a>
                                                                            <a class="cityroutetext" href="/mdd/cityroute/10065_5934.html" target="_blank">
                                            <span class="arrow">→</span><span>前门大街</span>

emm, 现在可以放心的传给BeautifulSoup了。

总结以下，看起来都是简单的步骤，但是尤其注意细节问题，因为交给BeautifulSoup处理时，任何一个小问题都会导致报错，一般是报堆栈溢出错误。

胡祺GISer
关注
使用lxml通过文字获取class值--python实现
weixin_63790775的博客
04-12 1475
直奔主题 import html as HTML # HTMLParser库 from selenium import webdriver # selenium库 import lxml # lxml库 from lxml import etree # lxml库 def Elements_Text_CLASS(browser, text): if text == "": return [0] html = etree.HTML(browser.execute_.
Python lxml 清洗 XML 清除 node 和 attribute
wumingxiaoyao的博客
11-28 1548
引言： 项目中会遇到数据迁移，怎么保准新的数据和老的数据内容保持一致呢，有时需要进行内容测试，这就涉及到 XML 内容的比较，由于数据处理方式改变，需要忽略期望中的不同，所以对特殊的 xpath 进行处理。综合各种研究，觉得 lxml 效率最高，对 xml 的处理非常方便，本文将通过一个例子来解决工作中遇到的数据清洗问题。 内容提要： XML namespace 概要 lxml 对 XML的操作 lxml 应用清洗XML XML namespace 有关 XML namespace，可以参考 XML
数据清洗：利用lxml移除html中的元素
彭世瑜的博客
04-03 2053
有一段html文本 <html> <head> <title>这是标题</title> </head> <body> <div>这是内容</div> <div>要移除的内容</div> </bo...
lxml提取网页文字--去除样式代码和脚本代码
mantoureganmian的专栏
03-30 449
文章目录原因解决方案 原因 使用lxml包的xpath功能提取text时，有可能带出很多的CSS样式代码和脚本代码，如下： 原因是html代码中带有<script>和<style>标签的代码，如下： 解决方案 删掉这些标签即可，代码如下 from lxml import etree # 读取html code with open("./ref=sr_1_10.htm") as f: html_content = f.read() # 建立解析树 html
数据采集与预处理头哥请求获取网页内容
最新发布
09-14
"头哥"，可能是对“Hugging Face”（一个知名自然语言处理库）的简称，它并不直接涉及网络爬虫的功能，但如果你是指Python中的requests库，这是一个用于发送HTTP请求的库，常用于网页内容的获取。 首先，使用`...
fangtianxia_获取房天下二手房信息的Python代码_
09-29
这个过程通常涉及网络爬虫技术，使用Python的requests库来发送HTTP请求，BeautifulSoup或PyQuery库来解析HTML文档，以及可能的数据清洗和存储步骤。 在Python中，首先，我们需要导入必要的库，如requests和...
通过python爬虫获取人民网、新浪等网站新闻作为训练集
10-21
下面将详细阐述这个过程中的各个关键知识点。 1. **Python爬虫**： - Python爬虫是用于自动化提取网页信息的程序。在本项目中，可能使用了`requests`库来发送HTTP请求，获取网页内容；`BeautifulSoup`或`lxml`库...
演示web 获取网页信息
07-13
在IT行业中，Web获取网页信息是一项基础且至关重要的技能，特别是在大数据分析、网络爬虫以及自动化...在实际操作中，要遵循道德规范，尊重网站的robots.txt规则，并注意避免过于频繁的请求，以免对服务器造成负担。
获取公司.zip
08-22
《Python爬虫项目实战——“获取公司.zip”详解》 在信息技术日新月异的今天，数据已经成为企业决策的重要依据。而Python爬虫作为一种高效的数据采集工具，被广泛应用于数据分析、市场研究等领域。本文将围绕名为...
lxml模块常用方法整理总结
彭世瑜的博客
04-07 3328
Element结构 <tag attrib >text</tag>tail eg: <span width="200px">标签内的文本</span>标签后的文本 lxml模块常用体系结构： lxml.etree class XMLParser XMLPullParser HTMLPa...
Python读取本地html文件，获取其中表格内容
Dong的博客
12-01 1万+
python读取本地html文件并进行简单的处理来获取文字
[爬虫]python下的xpath清洗数据之html数据清洗
wumxiaozhu的博客
08-28 2990
现在我们面对一些爬虫数据，特别是对于web网页的爬取的时候，网页总有一些不规整的数据来导致拿数据的麻烦，比如如下这种 &lt;html&gt; &lt;div&gt; &lt;p&gt;111&lt;/p&gt; &lt;p&gt;222&lt;/p&gt; &lt;p&gt;333&lt;/p&gt; &lt;p&gt;444 &lt;s
lxml基本用法总结
热门推荐
kikaylee的专栏
02-24 3万+
lxml库结合libxml2快速强大的特性，使用xpath语法来进行文件格式解析，与Beautiful相比，效率更高。
lxml html all text,在lxml中获取标签内的所有文本
weixin_33902301的博客
06-18 1809
尝试：def stringify_children(node): from lxml.etree import tostring from itertools import chain parts = ([node.text] + list(chain(*([c.text, tostring(c), c.tail] for c in node.getchildren()))) + [node.ta...
python对lxml解析html得到的xpath路径去除()、[]得到模式路径
Together_CZ的博客
07-08 4126
使用lxml对html解析会得到所有节点的路径信息，基于这些路径信息想进一步得到精简的具有代表性的模式路径，在这里采用的方法是：去除路径中的()、[]等辅助信息，这些信息就是兄弟节点的位置信息，在模式路径的获取中，这些位置数据是需要剔除的，具体实现很简单，如下： #!usr/bin/env python #encoding:utf-8 ''' __Author__:沂水寒城 功能：将每个节点的
使用lxml.html.clean.Cleaner清洗html
彭世瑜的博客
03-26 2595
文档: https://lxml.de/lxmlhtml.html#cleaning-up-html 代码示例 # -*- coding: utf-8 -*- from lxml.html.clean import Cleaner html = """ <p cms-style="font-L">　　 <strong>铁打的腾讯</strong> ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值