xpath获取标签属性乱码解决（成长日记）

最新推荐文章于 2023-01-05 21:04:39 发布
最新推荐文章于 2023-01-05 21:04:39 发布
阅读量4.4k 收藏 14
点赞数 8
分类专栏： xpath 文章标签： xpath
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hyg55555/article/details/85246353
版权

selector_new = etree.HTML(html.text)
是将HTML转化为文本/html 格式
selector_new = etree.HTML(html.content)
是将HTML转化为二进制/html 格式

我在获取xpath的标签属性时，怎么编码和解码都错了，网页的编码和用requests.get()的网页编码不一致，运用时用html.encoding打印出来
在这里插入图片描述
在这里插入图片描述
之后就可以解码啦
在这里插入图片描述
或者直接用selector_new = etree.HTML(html.content)
是将HTML转化为二进制/html 格式
xpath直接获取属性值就好了！

黄黄黄油
关注
  • 8
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
实战5.Python制作查询工具+Xpath打印出现乱码的问题
qq_49594899的博客
10-13 456
Flask是一个轻量级的Web应用框架，使用Python编写。它提供了一些工具和库，使得开发Web应用变得更加容易和快速。下面是一个简单的Flask应用程序示例：app.run()这个应用程序定义了一个名为的Flask实例，并使用装饰器将函数绑定到根URL上。当用户访问根URL时，函数将被调用并返回“Hello， World！”字符串。Flask还提供了许多其他功能，例如模板引擎、表单处理、数据库集成等等。可以通过Flask官方文档来学习更多内容。
【Scrapy 常见知识错误：如果出现了Xpath选择后乱码或者非数据类型错误】
之度的博客
05-27 426
https://blog.csdn.net/weixin_42105977/article/details/80390957
解决PyCharm下python使用XPath解析html，获取文本时中文乱码问题
qq_23944945的博客
11-11 6365
解决PyCharm下python使用XPath解析html，获取文本时中文为乱码问题文本文件html.txt如下：源文件test.py如下：运行结果(乱码)如下：解决办法01源文件test.py如下：运行结果如下：解决办法02(推荐)源文件test.py如下：运行结果如下：结语 最近在学习XPath解析库，但是获取中文文本时总是乱码，网上看了些教程，然并卵，最后只好自己解决： 文本文件html.t...
scrapy xpath 然后extract返回的是unicode类型, 可以考虑转换为utf-8或者其他编码类型
hhczy1003的专栏
08-07 7012
遇到了这样一个问题。在scrapy中，通过启动时候传入settings控制抓取范围 如 scrapy crawl spiderName -s crawl_target=食品 然后在parse里面xpath找出来区域，判断 settings.crawl_target =? xpath.extract() 但是一直比较不出来，即使 食品 = 食品 这样两个print出来一样，但是 食品
Python爬虫编写乱码问题、验证码登录问题和IP代理问题解决
永远是少年
01-05 1635
今天继续给大家介绍Python爬虫相关知识，本文主要内容是Python爬虫编写乱码问题、验证码登录问题和IP代理问题解决。 一、乱码问题解决 二、验证码登录问题解决 三、IP代理问题解决
用xpath获取指定标签下的所有text的实例
01-21
今天用xpath获取的元素下面text 是被几个b标签分割开的，我想要一次性全部获取，参考了其他人的博客是如下的做法： value_ls = html.xpath(//tr/td[7]) value = value_ls[0].xpath('string(.)').extract()[0] 但是...
对Xpath 获取子标签下所有文本的方法详解
09-19
本文将深入探讨如何使用XPath来获取子标签下的所有文本内容。 在XML或HTML结构中，一个元素可能包含多个子元素，每个子元素又可能有各自的文本内容。有时，我们可能需要提取某个父元素下所有子元素的文本，而不仅仅...
利用xpath提取标签下所有文本
01-08
利用xpath提取标签下所有文本html 样式xpath提取方式 html 样式 该网页源代码是微博的一部分，我们需要提取博文，但发现 标签下文本被分割开，这种情况应当如何处理 c 投诉 一Z_c一 忌甜忌辣忌油...
xpath解析页面中文乱码
Tw_light的博客
12-04 3075
res = requests.get(url, headers = headers) # html = etree.HTML(res.text) 这样写后面进行处理时得到的内容乱码了 # 改为以下形式，可以正常显示中文 html = etree.HTML(res.content, parser = etree.HTMLParser(encoding='utf8'))
Python_爬取文本内容中文乱码解决方案
m0_65592409的博客
02-27 808
方案一(手动设定响应数据的编码格式)： url='输入url' response=requests.get(url=url,headers=headers) 手动设定响应数据的编码格式 response.encoding='gbk' page_text=response.text 方案二(通用处理中文乱码的解决方案): img_name=li.xpath('./a/img/@alt')[0]+'.jpg' #通用处理中文乱码的解决方案 img_name=img_name.encode('iso-8
解决Requests中文乱码
热门推荐
chaowanghn的博客
02-06 8万+
都在推荐用Requests库，而不是Urllib，但是读取网页的时候中文会出现乱码。分析： r = requests.get(“http://www.baidu.com“) **r.text返回的是Unicode型的数据。 使用r.content返回的是bytes型的数据。 也就是说，如果你想取文本，可以通过r.text。 如果想取图片，文件，则可以通过r.content。**获取一
关于python，使用xpath 中 etress.HTML()中文乱码问题
qq_40677222的博客
11-15 3923
第一次使用xpath，爬取猫眼电源，无中文显示了， import requests from lxml import etree url = “http://maoyan.com/board/4” headers = { “User-Agent”: “Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML,...
scrapy中使用xpath遇到的中文问题
sofeien的专栏
10-13 2701
想要提取网页中所有"滚动"字样的链接，使用如下xpath response.xpath(u'//a[text()="滚动"]/@href').extract()
关于php使用xpath解析html中文乱码问题
weixin_30443747的博客
05-10 780
1 $str2 = '<div id="content">我很好 </div>'; 2 $dom = new DOMDocument(); 3 //load之前强转字符编码 4 $str2 = mb_convert_encoding($str2 ,'HTML-ENTITIES',"UTF-8"); 5 $dom->loadHTML($st...
scrapy 中解决 xpath 中的中文编码问题
zcc_0015的专栏
08-22 1万+
1、问题描述：       实现定位品牌节点       brand_tag = sel.xpath("//h2[text()= '品牌']")       报错：ValueError: All strings must be XML compatible: Unicode or ASCII, no NULL bytes or control characters  2、解决方法：  
python xpath 中文乱码_耗时一周尝试踩坑，整理了一些Python实用知识点
weixin_39926104的博客
11-26 794
很零碎的知识点，有的是踩过的坑，不成系统，但是绝对很有用，知道的可以回顾下，不太了解的可以多学习下1、Python连接MySQL加编码记得加charset，没加的话部署Linux服务器运行可能有中文乱码，已踩坑2、最好用utf8mb4很多时候我会用sqlalchemy创建连接数据库引擎，charset用的utf8mb4，原因在于爬取的文本中有表情，utf8不行，同时，数据库、表，编码也都要保持一致...
Python爬取中文内容时乱码怎么办
weixin_43697200的博客
11-01 2539
Python爬取中文内容时乱码怎么办 使用Python爬虫爬取一些中文网页的内容时，有时会出现爬取内容为乱码的情况，不管是采用正则表达式还是采用xpath提取内容，结果都一样为乱码，遇到这种问题怎么办？ 源程序代码如下： import requests from lxml import etree headers={‘User-Agent’:‘Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chr
用 xpath 如何取到 title 里的文字啊
辰
11-21 1万+
import requests from lxml import etree res = requests.get('https://s.2.taobao.com/list/list.htm?_input_charset=utf8&amp;amp;q=ddr3 1866&amp;amp;st_edtime=1').content txt = etree.HTML(res) # 取a标签里的title内容 txt...
xpath获取标签的属性值字典键值
最新发布
04-22
XPath是一种用于在XML文档中定位元素的语言。通过XPath可以获取标签的属性值字典键值。以下是使用XPath获取标签属性值字典键值的步骤： 1. 首先，使用XPath表达式选择要获取属性值的标签。例如，如果要获取所有`<a>`标签的`href`属性值，可以使用以下XPath表达式：`//a/@href`。 2. 使用编程语言中的XPath解析库，如Python中的lxml库，加载XML文档并执行XPath查询。 3. 执行XPath查询后，将返回一个包含所选标签属性值的列表或字典。 4. 遍历返回的结果，提取所需的属性值。 下面是一个示例代码，演示如何使用Python的lxml库和XPath来获取`<a>`标签的`href`属性值字典键值： ```python from lxml import etree # 加载XML文档 xml = ''' <root> <a href="https://www.example.com">Link 1</a> <a href="https://www.example.com/page2">Link 2</a> <a href="https://www.example.com/page3">Link 3</a> </root> ''' root = etree.fromstring(xml) # 执行XPath查询 results = root.xpath('//a/@href') # 提取属性值字典键值 attributes = {} for result in results: attributes[result] = result.split('/')[-1] # 输出属性值字典键值 print(attributes) ``` 运行以上代码，将输出如下结果： ``` { 'https://www.example.com': 'example.com', 'https://www.example.com/page2': 'page2', 'https://www.example.com/page3': 'page3' } ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

黄黄黄油

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值