XPath匹配标签使用text()判断获取结果失败/为空的问题及解决方法

最新推荐文章于 2023-08-10 15:18:32 发布
最新推荐文章于 2023-08-10 15:18:32 发布
阅读量1.9k 收藏 4
点赞数 1
文章标签： python
原文链接：http://www.cnblogs.com/WattWang/p/11595440.html
版权
在Python爬虫中，使用XPath抓取网页内容时遇到text()判断失败的问题。当HTML标签内存在Unicode编码的不间断空格符(&nbsp;)时，正常空格无法匹配到内容。解决方案是将空格替换为'xa0'，从而正确匹配到<dd></dd>标签内的文本。
摘要由CSDN通过智能技术生成

XPath当匹配标签判断text()判断内容失败的问题及解决

问题复现

在爬取网站的时候我使用XPath去抓取网页上的内容，XPath表达式来精准获取需要的标签内容。

当我对如下一段html代码编写XPath表达式抓取的时候出现了问题，代码如下。片名两个字中间有七个空格，我想要获取<dd></dd>中的内容。

<dl class="clearfloat margin-30">
    <dt>片&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;名</dt
最低0.47元/天 解锁文章
aoqu6073
关注
python自动化测试工具selenium使用指南
南七小僧的学海无涯
07-17 109
selenium是网页应用中最流行的自动化测试工具，可以用来做自动化测试或者浏览器爬虫等。官网地址为：https://www.selenium.dev/。免费开源轻量级，不同语言只需要一个体积很小的依赖包支持多种系统，包括Windows，Mac，Linux支持多种浏览器，包括Chrome，FireFox，IE，safari，opera等支持多语言，包括Java，C，python，c#等主流语言支持分布式测试用例执行。
关于数据抓取之xpath提取text为空问题的原因和解决方案
weixin_33835690的博客
12-15 8151
今天在抓取淘宝网网页的时候，使用了： #店名 shopname = driver.find_element_by_xpath(".//*[@id='page']/div[2]/div/div[2]/ul/li[1]/a/span").text.strip() #掌柜名 dea...
xpath使用text()失效
Jayj1997的博客
09-26 2179
我的爬虫学习xpath使用text()失效 xpath使用text()失效 今天分析网页的时候，想用xpath获取一下一页里每一个二级url的标题，发现xpath写的没错，不写xpath之前也能得到标题，当然是用谷歌里的xpath插件（非常好用），然后发现加上text()之后就显示不出来了，变成了 然后就百度各种答案，再分析了下网页源码，发现竟然是这么写的网页源码 竟然是这么写的，这程序员是...
Xpath中text()方法获取列表为空问题解决方法
qq_61177928的博客
02-10 1974
When we use XPath to crawl web pages, we may encounter such a problem: the list printed using the text method is empty, whichcan be caused by non specified direct content. attention:text() method can only get direct content, string(.) can get whole conte.
使用Xpath获取到了空列表
weixin_44998052的博客
07-12 1088
在学习爬虫的时候 准备爬取天天基金网的数据 结果发现拿到了页面xpath解析出来却是"[]" 错误代码： /html/body/div[2]/div[8]/div[3]/div[2]/div[3]/div/div[1]/table/tbody/tr[1]/td[1] 正确代码： Jname = html.xpath(’/html/body/div[2]/div[8]/div[3]/div[2]/div[3]/div/div[1]/table/tr[1]/td[1]/text()’) 把tbody去掉就对了
selenium页面元素定位方法（2）——XPath
vikeyyyy的博客
04-23 2119
        XPath定位方式是自动化测试定位里面，最有用的一种方法，几乎能解决所有的定位难题。XPath的介绍        XPath 是XML 和Path的缩写，主要用于xml文档中选择文档中节点。基于XML树状文档结构，XPath语言可以用在整棵树中寻找指定的节点。XPath 定位和CSS定位相比有更大的灵活性。XPath 在文档树中某个节点既可以向前搜索，也可以向后搜索，CSS定位只...
scrapy框架中利用xpath获取网页内容为空，而xpath书写完全正确
baidu_32542573的博客
03-15 9660
如图：利用xpath解析结果： imgs_href = response.xpath('//div[@class="box picblock col3 masonry-brick"]/div/a')如上图：网页源代码中解析结果： imgs_href = response.xpath('//div[@class="box picblock col3"]/div/a')  总结：当解析网页时，不能仅仅...
xpath根据标签内容text来定位
热门推荐
Good Luck
06-21 9万+
driver.find_element_by_xpath( "//div[@class='outside']//a[contains(text(),'最近浏览')]")
关于xpath解析出空列表的原因
Sanzy_k的博客
07-21 8587
第一种，网上搜的很多关于这方面的内容都是与tbody标签有关，解决方法无非是去掉这个标签 第二种，网页标签class，id属性等一定要注意看后面有没有空格 第三种，xpath表达式正确，仍然解析不出，一定要查看对应网址的网页源码，即检查工具response部分，看源码是否是如下样式! 该样式代表源码被注释掉，所以即使xpath表达式正确也仍然解析不到，解决方法有两种，其一可以更换比较低级的user-agent ，再者是 def parse_data(self,data): #提取数据一切以
关于selenium中text返回空值的原因
JustZzer的博客
12-18 4387
https://blog.csdn.net/qq_42804678/article/details/91345725?ops_request_misc=%25257B%252522request%25255Fid%252522%25253A%252522160826145016780277868650%252522%25252C%252522scm%252522%25253A%25252220140713.130102334.pc%25255Fall.%252522%25257D&request_id=16
python xpath提取text的两个坑
shun201207的博客
09-14 3678
python xpath提取text的两个坑 当P下面有无文本的text 标签时，获取到的选择器里也包含这个文件，因此，此时用contact_first()时得到的是第一个 1.下面这个是p标签下无其它标签，用extract_first()可以获取到 ![在这里插入图片描述](https://img-blog.csdnimg.cn/d82ab5f788494cd8b25e262b4eca07e6.png#pic_center) 2.下面这个是第一个是无文本的a标签，用extract_first()获
写爬虫时常用的字符串操作(20个常用语法)
最新发布
ziyuantu的博客
08-10 741
这些是常见的字符串操作语法，在编写爬虫时经常会用到。请注意，具体语法和用法可能因编程语言和爬虫框架而异。以上示例是基于通用的 Python 语法和常用的爬虫库。如果你在使用其他编程语言或爬虫框架，可以参考该语言或框架的官方文档以获取更准确的语法信息。
02 python 爬虫基础 (数据解析)
March_A的博客
02-02 761
pyquery库是jQuery的Python实现，能够以jQuery的语法来操作解析 HTML 文档，易用性和解析速度都很好。
自动化爬虫-爬取文本言论正负面识别-存数据库
weixin_46046193的博客
09-04 452
# coding:utf-8 from selenium import webdriver from sqlalchemy import create_engine import pandas as pd import lxml.html, queue, logging import time, json, datetime import requests import copy # browser = webdriver.Firefox() # browser.get('https://tieba.ba
python之Scrapy 的Xpath常用定位相关
玖河长久
01-12 1313
xpth通过text值获取定位并提取同级节点text <div class="lef-bd"> <ul class="dot2"> <li> <dl> <dt>联系人：</dt> ...
百度分享
wusj1989的博客
07-04 205
&lt;!-- Baidu Button BEGIN --&gt;     &lt;div id="bdshare" class="bdshare_t bds_tools get-codes-bdshare"&gt;         &lt;span class="bds_more"&gt;分享到：&lt;/span&gt;         &lt;a class=&qu
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值