python xpath定位元素方法_[爬虫]xpath无法定位tbody标签（已解决）

最新推荐文章于 2023-07-28 15:46:49 发布
最新推荐文章于 2023-07-28 15:46:49 发布
阅读量2.1k 收藏 4
点赞数 2
文章标签： python xpath定位元素方法

2020.7.15更新

以前的讲法有点问题，所以再次更新一下，也算是填坑

定位不到tbody是因为标准差异，tbody不是必须存在的

chrome的Elements标签页的tbody是肯定存在的

bVbJFwJ

但是程序员写的网页不一定会有tbody

但是在chrome的Elements标签页不管返回的html有没有tbody，chrome都会有（有就不加，没有就自动加上）

所以

用selenium请求网页数据，就加上tbody标签，因为selenium返回的必定是包含tbody的（因为返回的是chrome的Elements标签页的内容）

用requests请求的时候，就自己看看源html内是否真的包含tbody标签（可以在chrome的network标签页下查看）

bVbJFy1

总结：服务器返回的html不一定有tbody标签（具体看网站前端程序员有没有加tbody标签），但是经过chrome渲染的render html必定包含tbody标签（服务器返回没有的话，浏览器就给你自动加上）

以下是原文：

写于2019.10.29日

问题发现

个人比较喜欢用xpath解析网页，

最低0.47元/天 解锁文章
mizore
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
comment_爬虫_xpath_豆瓣电影_python_影评_
09-29
标题中的"comment_爬虫_xpath_豆瓣电影_python_影评_"揭示了本次讨论的主题，即使用Python编程语言，通过XPath解析技术，针对豆瓣电影网站进行爬虫开发，目的是抓取电影的用户评论，特别是长篇评论。下面我们将深入...
python xpath定位 嵌套标签_[爬虫]xpath无法定位tbody标签（已解决）
weixin_34378815的博客
01-28 2909
2020.7.15更新以前的讲法有点问题，所以再次更新一下，也算是填坑定位不到tbody是因为标准差异，tbody不是必须存在的chrome的Elements标签页的tbody是肯定存在的但是程序员写的网页不一定会有tbody但是在chrome的Elements标签页不管返回的html有没有tbody，chrome都会有(有就不加，没有就自动加上)所以用selenium请求网页数据，就加上tbod...
Python正则表达式以及爬虫
yz_yz1234的博客
03-28 380
Python简单爬虫，想我用的是Python 3.6版本， 在这个版本中不支持urllib，需要引入urllib.request， 正则与爬虫的结合下边再详细介绍 import urllib.request def getHtml(url): page = urllib.request.urlopen(url) html = page.read() return
XPath无法匹配tbody标签
dta0502的博客
08-27 2810
问题描述 我在用XPath匹配元素的时候，发现老是出错，后来发现是<tbody>标签上有文章。 问题分析 我使用Chrome的元素审查对网页进行分析来得到XPath路径，但是Chrome会对网页源码进行加工，在<table>标签中，如果源码中没有写<tbody>标签，在元素审查和查看网页源代码中还是会将<tbody>强行添加上。 当然，若源代...
关于xpath解析网页中tbody问题
StalinCheung的博客
09-05 3311
关于xpath解析网页中tbody问题 在用xpath解析网页的时候，会遇到tbody标签。tbody标签有的时候可以解析，有的时候不可以解析，遇到tbody标签时要看网页源代码，如果源代码有tbody标签，就要加上tbody标签才能解析。 如果源代码没有tbody标签，那么tbody标签是浏览器对html文本进行一定的规范化而强行加上去的，这时如果xpath中有tbody则无法解析出来，此时...
【scrapy爬取不到tbody的问题以及保存数据为json格式】
qq_45957529的博客
05-23 1012
scrapy用xpath爬取不到tbody的问题 这是因为tbody是Firefox和Chrome等浏览器自动添加的标记。 但是当使用Scrapy进行抓取时，tbody不在responseHTML中。 所以我们只要把xpath里的tbody删除即可正常爬取的数据 顺便写点scrapy的经验吧, 进入循环的xpath语句记得前面没有/这些东西, 直接按节点走,例如:第一个for循环是对末尾的div数组进行遍历, 然后第二层循环是对div数组里的div[2]/div/div[]数组进行遍历, 注意xpat
Python爬虫——从浏览器复制的Xpath解析（tbody）出空列表，xpath加没加tbody都爬的是空的
m0_71089108的博客
04-13 1282
python
python定位xpath 节点位置的方法
09-18
今天小编就为大家分享一篇python定位xpath 节点位置的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
用Python写网络爬虫.rar_Python项目_python_python网络爬虫_爬虫_爬虫教程
07-15
《Python网络爬虫详解与实践》 Python作为一门强大的编程语言，因其简洁的语法和丰富的库支持，在网络爬虫领域有着广泛的应用。本教程旨在帮助初学者和有一定基础的开发者深入理解和掌握Python网络爬虫技术，通过...
python selenium xpath定位操作
12-17
XPath 是一种在 XML 文档中查找信息的语言，它在 Python 的 Selenium 库中被广泛用于网页元素的定位。Selenium 是一个强大的自动化测试工具，它允许我们模拟用户与网页的交互，而 XPath 则是定位网页元素的重要手段...
lxml xpath 解析tbody出现问题
Talk is cheap,show me the code
11-20 940
今天在做爬虫练习的时候遇到了一个问题，其实以前好像就遇到过，感觉lxml的etree好像不是很靠谱，经常解析出错，常常我在浏览器写的xpath语法没错，复制过来就出现问题了，今天记录一下xpath解析表格数据的问题。 当解析到网页中的表格数据时，如果你的xpath语法中含有’tbody’而导致爬取了空列表。那么把他去掉即可正常解析。 原因：原因是因为浏览器会对html文本进行一定的规范化？(我也不...
python无法定位到table_爬虫无法定位到tbody下的tr求助！！！！
weixin_39811150的博客
12-10 1610
我整了半天 总算有点明白了，tbody里的tr数据是通过一个post请求生成的 我写了一个请求发现他返回的数据是这样：{"message":"","success":true,"object":{"returnlist":[{"guid":null,"businessId":"769e2fbcaa3847dfbfc33763729bb248","tenderProjectCode":"M44010...
爬虫笔记
lxin690的博客
01-13 302
1. request 2. xpath 3. 模拟登录 4. 代理 5. 异步 6. selenium
Python爬虫——从浏览器复制的Xpath无法解析（tbody）
zy010101博客
04-20 3729
今天遇到一个问题，我的爬虫想抓取一个网页上的有些内容，使用Xpath解析的方式。前几个内容都可以被Xpath解析，但是最后一个标签内的内容始终解析不到，困扰了我一上午。最后我一步一步尝试解决了。但是我并不知道是为什么？这个场景就是程序已经执行起来了，但是你完全不知道它为什么能正常运行。下图可以完美描述。 下面这个视频更加生动：https://www.bilibili.com/video/av370044900/，建议反复观看。 后来，经过我返回斟酌关键字，进行搜索，看到前辈们的经验，发现原来是浏览器
xpath解析含有tbody标签的数据
西门一刀的博客
06-29 533
xpath解析含有tbody标签的数据
Python爬虫实例（4）--xpath选择器
qq_34786604的博客
09-02 2029
xpath选择器 爬取页面链接 xpath得到href内容 xpath得到标签内容 xpath多属性匹配 xpath语法
一、selenium元素定位方式大全
weixin_58694594的博客
07-28 3265
selenium定位方式大全
python 数据xpath
weixin_44164502的博客
12-22 215
#爬虫数据筛选-XPath #spider lxml 中 xpath的使用规则 #安装 pip install lxml #根标签：在标记语言中，处于最外层的一个标签就是根标签. for example <html>. #父标签：与子标签对应，内部包含了其他元素，此标签就是内部标签的父标签 . for example <html>就是<head>的父标签 ；&l...
pythonxpathtable_使用xpath查找表元素中的所有tr？
weixin_39723102的博客
12-17 3180
def parse_header(table):ths = table.xpath('//tr/th')if not ths:ths = table.xpath('//tr[1]/td') # here is the problem, this will find tr[1]/td in all html file insted of this table# bala bala something...
python爬虫12306抢票
最新发布
11-09
Python爬虫可以用于12306抢票，具体步骤如下： 1. 首先，需要安装selenium和chromedriver，selenium是一个自动化测试工具，chromedriver是一个控制Chrome浏览器的驱动程序。 ```python !pip install selenium ``` 2. 导入selenium和time模块，设置浏览器驱动路径和乘车日期等信息。 ```python from selenium import webdriver import time # 设置浏览器驱动路径 driver_path = 'chromedriver.exe' # 设置乘车日期 date = '2022-01-01' ``` 3. 打开Chrome浏览器，并访问12306官网。 ```python # 打开Chrome浏览器 driver = webdriver.Chrome(executable_path=driver_path) # 访问12306官网 driver.get('https://www.12306.cn/index/') ``` 4. 登录12306账号，输入用户名和密码，然后手动输入验证码。 ```python # 等待用户手动输入验证码 time.sleep(30) ``` 5. 在出发地和目的地输入框中输入相应的城市名称，然后选择乘车日期。 ```python # 输入出发地和目的地 driver.find_element_by_id('fromStationText').click() driver.find_element_by_id('fromStationText').clear() driver.find_element_by_id('fromStationText').send_keys('北京') driver.find_element_by_id('toStationText').click() driver.find_element_by_id('toStationText').clear() driver.find_element_by_id('toStationText').send_keys('上海') # 选择乘车日期 js = "document.getElementById('train_date').removeAttribute('readonly')" driver.execute_script(js) driver.find_element_by_id('train_date').clear() driver.find_element_by_id('train_date').send_keys(date) ``` 6. 点击查询按钮，等待页面加载完成。 ```python # 点击查询按钮 driver.find_element_by_id('search_one').click() # 等待页面加载完成 time.sleep(10) ``` 7. 选择车次和座位类型，然后点击预订按钮。 ```python # 选择车次和座位类型 driver.find_element_by_xpath('//tbody/tr[1]/td[13]/a').click() time.sleep(2) driver.find_element_by_xpath('//ul[@id="normal_passenger_id"]/li[1]/label') driver.find_element_by_id('submitOrder_id').click() ``` 8. 点击确认按钮，等待页面加载完成。 ```python # 点击确认按钮 driver.find_element_by_id('qr_submit_id').click() # 等待页面加载完成 time.sleep(10) ``` 9. 最后，可以通过邮件或短信等方式通知自己是否抢到了车票。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值