xpath 在firefox，chrome中正常，在requests中不正常的解决。

最新推荐文章于 2023-11-08 20:56:35 发布
最新推荐文章于 2023-11-08 20:56:35 发布
阅读量113 收藏
点赞数
原文链接：http://www.cnblogs.com/jackadam/p/10112960.html
版权

经多次测试发现：

lxml中的etree格式化以后，直接使用firefox或chrome提取的xpath检索不到内容。

主要是因为tbody

# 车种xpath
czxx = '/html/body/table/tbody/tr/td/table/tbody/tr[1]/td[7]'
# 车型xpath
cxxx = '/html/body/table/tr/td/table/tr[1]/td[5]'

看上面两个，去掉tbody就可以了。

上面两个xpath是用firefox提取的。

下面是chrome提取的，也是要去掉tbody

 

# 车种xpath
czxx = '//*[@id="report1"]/tr[1]/td[7]'
# 车型xpath
cxxx = '//*[@id="report1"]/tr[1]/td[5]'

转载于:https://www.cnblogs.com/jackadam/p/10112960.html

weixin_30468137
关注
为什么不要轻易使用 Chrome 复制的 XPath？
mifffy_java的博客
03-26 1117
有一些同学在写爬虫的时候，喜欢在Chrome 开发者工具里面直接复制 XPath，如下图所示： 他们觉得这样复制出来的 XPath 虽然长了点，但是工作一切正常，所以频繁使用。 但我希望大家不要过于依赖这个功能。因为它给出的结果仅作参考，有时候并不能让你提取出数据。我们来看一个例子。 这是一个非常简单的HTML 页面，页面中有一个表格，表格有一列叫做电话。我现在想把这里面的5个电话提取出来。如果直接使用 Chrome 的复制 XPath 的功能，我们可以得到下面这个 XPath： /htm
c#使用正则表达式获取TR中的多个TD_python爬虫学习笔记：XPath语法和使用示例
weixin_39845206的博客
11-20 568
python爬虫：XPath语法和使用示例XPath(XML Path Language)是一门在XML文档中查找信息的语言，可以用来在XML文档中对元素和属性进行遍历。选取节点XPath使用路径表达式来选取XML文档中的节点或者节点集。这些路径表达式和我们在常规的电脑文件系统中看到的表达式非常相似。常用路径表达式：实例在下面的表格中，列出一些路径表达式以及表达式的结果：查找特定的节点注意点：在x...
python response.xpath无效_Selenium中的无效xPath错误（具有有效的xPath）
weixin_39793434的博客
12-08 681
我正在使用pyccuracy测试一个Python应用程序，它有一个selenium驱动程序。在我的测试结果显示了xpath的一些不稳定性问题。有时，我会收到一个无效的xPath错误，其中包含一个有效的xPath。如果我再做一次测试，可能会有用。我跟踪了stacktrace，但找不到解决方法。在堆栈跟踪：I do not see "top-search-tag-name" element - FAI...
chrome浏览器的console检测xpath定位是否正确
jocleyn的博客
12-14 1593
console调用xpath的基本护发语法是：$x("xpath表达式")
十、技巧：2、使用谷歌浏览器定位xpath是否准确
glong168
06-08 3735
（1）、打开谷歌浏览器，按F12（2）、ctrl+f （3）、把xpath=//div[@class='ww_operationBar']/a[@class='qui_btnww_btn js_delete']的位置复制进去，看谷歌能否找到位置
爬虫使用xpath部分内容无法获取
qq_42937719的博客
05-11 2010
使用xpath获取信息，同一个网页的不同内容，有的可以，有的无法获取 网页中的内容是通过js代码读取外部json数据来动态更新的。 requests只能获取网页的静态源代码，动态更新的内容取不到。 对于动态更新的内容要用selenium 来爬取。 或者是通过F12控制台分析页面数据加载的链接，找到真正json数据的地址进行爬取。 在页面上点击右键，右键菜单中选 "查看网页源代码"。 参考：(1条消息) 关于xpath返回空列表的问题-Python-CSDN问答 ...
Python爬虫技术在数据采集中的应用.zip
05-16
为了抓取这些页面的数据，我们需要模拟浏览器行为，如使用Selenium库配合Chrome或Firefox驱动，或者使用Pyppeteer库来处理headless Chrome。 四、反爬策略与应对方法 网站为了防止被爬，通常会设置各种反爬机制，...
selenium基本使用、无头浏览器(chrome、FireFox)、搜索标签
菜CAI的博客
11-08 1272
selenium基本使用、无头浏览器(chrome浏览器)、搜索标签
python 爬虫：requests抓取的页面信息和浏览器中看到的不一样
热门推荐
sxf_123456的博客
01-07 1万+
网址:https://www.rmfysszc.gov.cn/statichtml/rm_obj/108362.shtml 用 请求出的网页解析为 <div id="time1" style="width:100%; height:60px; text-indent:30px; font-size:14px; line-height:60px;color:#2f2f2f;font...
python批量爬取网页图片（requests，xpath）
m0_51664504的博客
01-18 1841
闲来无事学习了python爬虫，xpath真是一个简单好用的工具，给我的LSP室友找一些符合他口味的图片。现在开始爬虫，所需工具：一台能上网并且可以运行python的电脑，python IDE（推荐pycharm或者anaconda），anaconda中集成了大量的python第三方库，对于我这种新手还是比较友好的），需要用到的第三方库：requests，lxml，os，time。
XPath-Helper 爬虫 网络
06-02
提取，编辑和轻松评估XPath查询。 XPath的助手很容易提取，编辑，并在任何网页评估XPath查询。 重要提示：安装此扩展后，必须重新加载任何现有的选项卡或重新启动Chrome浏览器扩展工作。 说明： 1.打开一个新的标签，并导航到任何网页。 2.按Ctrl-Shift键-X（或OS X命令移-X），或单击工具栏上的XPath的助手按钮，以打开XPath助手控制台。 3.按住Shift键将鼠标悬停在页面上的元素。查询框将不断更新，以显示鼠标指针下方的元件XPath查询，结果框将显示当前查询的结果。 4.如果需要，请在控制台直接编辑XPath查询。结果框会立即反映更改。 5.重复步骤（2）关闭控制台。 如果控制台在你的方式获得，按住Shift键，然后将鼠标移动到它; 它会移动到页面的相对侧。 一个忠告：当渲染HTML表格，浏览器插入人工<TBODY>标记到DOM，这将在随后通过该扩展提取查询显示出来。 Extract, edit, and evaluate XPath queries with ease. XPath Helper makes it easy to extract, edit, and evaluate XPath queries on any webpage. IMPORTANT: After installing this extension, you must reload any existing tabs or restart Chrome for the extension to work. Instructions: 1. Open a new tab and navigate to any webpage. 2. Hit Ctrl-Shift-X (or Command-Shift-X on OS X), or click the XPath Helper button in the toolbar, to open the XPath Helper console. 3. Hold down Shift as you mouse over elements on the page. The query box will continuously update to show the XPath query for the element below the mouse pointer, and the results box will show the results for the current query. 4. If desired, edit the XPath query directly in the console. The results box will immediately reflect your changes. 5. Repeat step (2) to close the console. If the console gets in your way, hold down Shift and then move your mouse over it; it will move to the opposite side of the page. One word of caution: When rendering HTML tables, Chrome inserts artificial <tbody> tags into the DOM, which will consequently show up in queries extracted by this extension.
Firefox浏览器xpath工具插件（高版本Firefox不支持）
weixin_33712881的博客
11-02 962
2019独角兽企业重金招聘Python工程师标准>>> ...
chrome使用xpath的坑
happyuu的博客
07-11 6649
近期使用python的scrapy进行爬虫练习时，使用chrome自带的xpath复制到代码中，匹配的时候总是出现结果为空，查后发现是在html结果中自加tbody 标签。例如：#复制出来的xpthxpth('//*[@id="position"]/div[1]/table/tbody/tr[1]')#正确的xpth，把tbody去掉，搞定xpth('//*[@id="position"]/div...
xpath不能正常匹配
hard_days的博客
03-11 1999
记录一下今天掉的坑。。。本来再写爬虫的时候发现xpath能在浏览器里正常使用，但是放到我的项目里就是一个空列表。弄了我将近一个小时。解决方案有两种： 第一种就是携带cookie值。 self.headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537....
有关火狐浏览器xpath定位
wanggaoxingH的博客
07-19 3364
方法一： 在火狐浏览器输入网址：https://addons.mozilla.org/en-US/firefox/addon/element-locator-for-webdriv/?src=search 查找：WebDriver Element Locator 并下载： 之后，要定位的元素，右击如下图所示就可定位 参考文档：https://blog.csdn.net/qiyueqingl...
火狐浏览器配置xpath
xuxu_boke的博客
10-14 2695
1.我们先将火狐浏览器安装上，因为一些版本的问题，xpath用不了，我给大家看一下我的版本号。 2.在安装的过程中会出现我们一个自定义安装目录，点击自定义安装目录取消勾选自动更新，因为我这个已经安装好了就不给你们上图了。 3.然后我们点开我们的火狐，找到设置。 4，让他不更新是怕它自己更新过后我们的xpath就把不能用了。 5.然后我们点击确认就可以了。 6.然后我们就要导入我们的xpath了，点击火狐左上角三个横杠，点击附加组件。 7.然后我们点击扩展，这个时候你这个里面应该是空的。 8.然后我们找到设置
如何在Python爬虫中使用Selenium库？
最新发布
09-15
在Python爬虫中使用Selenium库，主要是因为有些网站的内容是通过JavaScript动态加载的，而单纯基于`requests`和`BeautifulSoup`可能无法直接获取。Selenium是一个模拟浏览器行为的工具，允许你在爬虫中控制真实的浏览器实例。以下是基本步骤： 1. **安装Selenium**：先安装selenium库，以及对应的WebDriver，如ChromeDriver（适用于Chrome浏览器），FirefoxDriver（适用于Firefox）等。你可以从官网下载对应版本的驱动。 ```bash pip install selenium ``` 2. **启动WebDriver**：创建一个WebDriver实例，并指定浏览器路径和URL。 ```python from selenium import webdriver driver = webdriver.Chrome('/path/to/chromedriver') driver.get('http://example.com') ``` 3. **网页操作**：可以像操作实际浏览器一样，找到元素并进行操作，例如点击按钮、填写表单等。 ```python element = driver.find_element_by_xpath('//button[@id="myButton"]') element.click() ``` 4. **等待页面加载完成**：有时页面加载是异步的，需要使用`time.sleep()`或`WebDriverWait`等待特定条件满足再继续。 5. **数据抓取**：当页面内容加载完成后，使用`BeautifulSoup`或其他工具解析HTML获取数据。 ```python html_content = driver.page_source soup = BeautifulSoup(html_content, 'html.parser') data = soup.select('.class-or-id') # 选择你需要的元素 ``` 6. **关闭浏览器**：任务完成后，别忘了关闭WebDriver。 ```python driver.quit() ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值