xpath只能提取到部分页面元素的问题

最新推荐文章于 2022-05-23 10:42:23 发布
最新推荐文章于 2022-05-23 10:42:23 发布
阅读量4.9k 收藏 2
点赞数
分类专栏： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Kwoky/article/details/81146087
版权

世界杯刚过，想从世界杯贴吧爬取一些图片，用requests库，发现当设置User-Agent时，li标签用xpath提取不到，div标签只能提取到部分，并且发现当不设置User-Agent时就能正常提取到

所用的User-Agnet为谷歌浏览器：
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36

尝试着修改为IE浏览器的User-Agnet：
Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;
也能正常提取元素

分析爬取的网页内容，发现使用谷歌浏览器的UA时，html标签被放在了注释里面，而使用IE的UA时，html标签正常


原因找到了，xpath把html注释当作一个结点，所以提取不到其中的li和div

解决办法：使用IE的UA

Kwoky
关注
专栏目录
XPath 应对动态页面的元素定位技巧
小蓝枣的博客
07-13 614
在现代 Web 应用程序中，动态页面的使用越来越普遍。动态页面通过 JavaScript 等前端技术实现元素的动态生成、内容的异步加载等操作，给元素定位带来了一定的挑战。 XPath 作为一种强大的查询语言，可以帮助我们解决动态页面的元素定位问题。本篇博客将以处理动态页面的元素定位为中心，介绍 XPath 的技巧和方法，帮助读者灵活、准确地定位动态页面中的元素。
XPath 实战：解决实际元素定位问题的终极指南
小蓝枣的博客
07-13 298
XPath 是一种强大的查询语言，广泛应用于在 XML 和 HTML 文档中定位和提取元素。在实际的应用中，我们经常面临各种元素定位的问题，例如选择特定属性值的元素、根据文本内容进行定位、处理动态生成的元素等。 XPath 提供了丰富的功能和灵活的语法，能够解决各种实际的元素定位问题。本篇博客将以实际问题为切入点，通过详细的解释和实例演示，展示 XPath 在解决元素定位问题方面的终极指南。
python xpath获取多个li标签内容是空？还得结合正则表达式来爬取信息
net_code的博客
05-26 3486
python问题： xpath获取多个li标签内容是空的？ from scrapy.selector import Selector 想通过Selector爬取网站信息，同时保存多个li标签中的title标签值，总是得到空的列表。 names = sel.xpath('//*[@class="list-box"]/li/a/@title') 因为title标签内容和a标签文本内容一致，想获取文本，结果也为空列表。 name=sel.xpath('//div/ul[@class="list-box"]//
scrpy.Selector xpath循环时一直取第一个元素的问题
python的神奇之旅
11-27 1025
url = "https://xa.lianjia.com/chengjiao/pg{}/" r = self.web_requests.get(url.format(1)) selector = Selector(text=r.text) ul = selector.xpath("//ul[@class='listContent']/li") for li in ul: title = li.xpath('//div.
xpath抓取html不完全,scrapy的xpath是否取HTML标签的情况分析
weixin_39827775的博客
05-30 563
在我们取得response的select的解析器中，示例中都是用的text()函数，实际上它只能取到第一级的纯文件，如果包含的内容有其它的Html标签，将不能取到；具体情况有如下几种：1. response.xpath('//div[@id="c"]/text()').extract()如果在div的id为c的内容中，全是html为p等标签，那么取到的内容就是就是\n,\t之类的字符；因为：tex...
python 使用 lxml.etree.HTML.xpath 解析网页不完整
有人_295的博客
11-02 7790
问题 个人遇到问题，参考性可能不大 网址：https://trains.ctrip.com/trainbooking/TrainSchedule/D677/ 今天爬取携程火车车次信息，开始运行结果好好的，但是运行到这里时出现了错误，报错是超出列表范围。 我仔细查看发现是：lxml.etree.HTML.xpath 解析网页不完整，网页明明有 8 个数据，结果只能读取 7 个数据，且 第七个数据不能...
xpath提取当当网数学书前十页信息
WGS.
04-21 668
''' http://category.dangdang.com/cp01.03.51.00.00.00.html get 这些书都在一个个的li标签里，先获取所有的li，再分别对每一个li进行xpath提取，可以避免要提取的字段是空最后数据错位的情况 第二页 http://category.dangdang.com/pg2-cp01.03.51.00.00.00.html 第三页 ht...
页面元素xpath定位工具.rar
09-21
本压缩包"页面元素xpath定位工具.rar"提供了一个名为DragonTestingXpathHelperV1.0.2的工具，该工具专门用于帮助用户快速、准确地找到网页上的可点击元素和输入字段，并自动生成对应的XPath表达式。 在网页自动化...
python xpath定位不到_Xpath定位方法深入探讨及元素定位失败常见情况
weixin_39819138的博客
03-01 4561
一、Xpath定位方法深入探讨(1)常用的Xpath定位方法及其特点使用绝对路径定位元素。例如：driver.findElement(By.xpath("/html/body/div/form/input"))。特点：这个路径是从网页起始标签开始一直到要定位的元素的路径，如果要定位的元素在页面最下面，则这个Xpath路径会非常长。如果在要定位的元素与页面开始之间的元素有任何增减，元素定位就会失败。...
google-xpath提取器插件
04-02
标题中的“google-xpath提取器插件”是指一个专门用于网页元素XPath路径提取的工具，它可以帮助用户方便地从Google浏览器中获取XML Path Language（XPath）表达式。XPath是一种在XML文档中查找信息的语言，常用于...
爬虫技术的正则基础：用re提取html标签中间的内容
weixin_41855010的博客
02-21 3289
我们可以使用贪心捕获、费贪心捕获等方法，用正则表达式提取标签中间的内容。我们需要将模式字符串设置为(.*)来捕获标签中间的内容，其中点号.表示匹配除了换行符以外的任意字符，*表示匹配任意多（0个或者1个或者多个）字符。注意如果我们把小括号（）去掉，那么在返回的字符串中将把html标签也包括进去。我们可以通过以下代码来看一下运行的结果。 import re content = ''' <h&...
python提取字符串中的日期_关于python:xpath提取特定字符之间的日期并用作日期
weixin_39940714的博客
12-17 926
更新：关于我的第二个问题(如何在MySQL中将字符串转换为日期格式)，我找到了一种方法并想分享它：1)将"字符串日期"数据保存为varchar(不使用文本)2)当以php或其他方式显示mysql数据时，使用str_to_date函数(字符串日期列，日期格式)，如下例：$sql ="SELECT * FROM yourtablename ORDER BY str_to_date(string-dat...
Python爬虫必备技能，Xpath提取数据规格详解
Python学习Q群696455390
08-10 1831
python爬虫：XPath语法和使用示例 XPath(XML Path Language)是一门在XML文档中查找信息的语言，可以用来在XML文档中对元素和属性进行遍历。 很多人学习python，不知道从何学起。 很多人学习python，掌握了基本语法过后，不知道在哪里寻找案例上手。 很多已经做案例的人，却不知道如何去学习更加高深的知识。 那么针对这三类人，我给大家提供一个好的学习平台，免费领取视频教程，电子书籍，以及课程的源代码！ QQ群：101677771 选取节点 XPath使用路径表达式来
python小白爬取新浪li标签的超链接和内容
m0_53579703的博客
05-26 2731
新浪页面分析： 新浪的主页大部分新闻内容都是通过li标签列出来，然后再在li标签里面加个a标签，用来存超链接和内容 通过上面的分析，可以通过正则找到所有<li>><a></a></li>格式的标签，代码如下: import re import requests def getHTMLText(url): #得到HTML的网页 try: kv = { "user-agent": "Mozilla/5.0 (
【Python解答】爬虫抓取过程常见小问题整理
sixqingfeng的博客
05-23 3595
现在写爬虫，入门已经不是一件门槛很高的事情了，网上教程一大把，但很多爬虫新手在爬取数据的过程中依旧会遇到这样那样的问题。 今天整理了部分新手在爬虫过程中遇到的问题，希望可以给大家提供一点问题解决的思路和参考。 01 无法正常显示中文？ 使用requests库或者urllib库获取源代码时无法正常显示中文； r = requests.get('http://xxx')print r.text 使用requests解析中文网页时，上述语句在ipython中一直打印的都是乱码....... 试过如下
Python爬虫之爬虫原理并实现第一个爬虫
qq_41827511的博客
07-30 385
主要知识点： 网络连接： 根据图2.1我们可以知道计算器通过向服务器发送Request请求，可以得到相应的Response。其中Request包括请求头和消息体，Response包括html文件。其实计算机的一次Request请求和服务器的一次应答就是网络连接的体现。 其中我们可以把计算机比作向...
playwright通过xpath提取元素值
最新发布
09-07
Playwright 是一个自动化库，支持多种浏览器自动化，包括 Chromium、Firefox 和 WebKit。它允许用户编写脚本来模拟用户的行为，如点击、输入文本等。Playwright 支持多种选择器来定位页面上的元素，而 XPath 是其中的一种。 要通过 XPath 在 Playwright 中提取元素值，你可以使用 `page.locator()` 方法配合 XPath 表达式定位元素，然后使用 `evaluate()` 或 `innerText()` 等方法来获取元素的值。以下是一个使用 Playwright 通过 XPath 提取元素值的示例代码： ```javascript const playwright = require('playwright'); async function main() { const browser = await playwright.chromium.launch(); const page = await browser.newPage(); await page.goto('https://www.example.com'); // 使用 XPath 选择器定位元素 const element = await page.locator('xpath=//div[@class="example-class"]'); // 提取元素的内部文本 const text = await element.innerText(); // 提取元素的特定属性 const attribute = await page.evaluate((element) => element.getAttribute('data-attribute'), element); console.log('元素内部文本:', text); console.log('元素属性值:', attribute); await browser.close(); } main(); ``` 在上面的代码中： 1. 使用 `page.locator()` 方法配合 'xpath=...' 来定位具有特定 XPath 的元素。 2. `innerText()` 方法用来获取元素的内部文本。 3. `evaluate()` 方法用来执行一个自定义的 JavaScript 函数，这里用来获取元素的某个属性。 请注意，XPath 表达式需要根据实际页面元素的结构来编写，而 'xpath=' 是 Playwright 中定位元素时使用的前缀。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值