爬虫学习笔记：网页数据的定位相关——XPath

最新推荐文章于 2024-04-21 15:05:18 发布

丰。。

最新推荐文章于 2024-04-21 15:05:18 发布

阅读量7.4k

点赞数 2

CC 4.0 BY-SA版权

分类专栏：爬虫学习笔记文章标签： python html 爬虫大数据

本文链接：https://blog.csdn.net/CSDNXXCQ/article/details/119858763

爬虫学习笔记专栏收录该内容

66 篇文章

订阅专栏

本文介绍了XPath运算符的基础用法，如选取特定位置的元素和拥有特定属性的节点，以及通配符'*'和'@*'的使用。此外，还讲解了如何通过结合多个路径来获取复杂的选择结果，适用于XML和HTML文档的查询操作。

本文目录

运算符

在这里插入图片描述

基本方法

在这里插入图片描述

/A/B[1]	#选取A下的第一个子元素

/A/B[last()]	#选取A下的倒数第二个book元素。

A/B[position()<3]	#选取A下前面两个子元素。

//B[@price]	#选取拥有price属性的B元素

//B[@price=10]	#选取所有属性price等于10的B元素

通配符

" * "匹配任意节点
@* 匹配节点中的任何属性

比如
/A/* 选取A下的所有子元素。

//B[@*] 选取所有带有属性的B元素。

选取多个路径

//A/B | //B/title
# 选取所有B元素以及B元素下所有的title元素

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

丰。。

关注关注

2
点赞
踩
1

收藏

觉得还不错? 一键收藏
2
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

python3爬取网页数据学习笔记——XPath篇

c348762444的博客

07-15

627

数据来源网站：2016中国企业500强排行榜(完整名单)→买购网 (maigoo.com) 右键数据部分，选择检查观察到需要的数据的父节点包含关键字'mod_table table1 fcolor30'，而子节点中包含了'td'的项都是要爬取的内容，故可得出XPath路径表达式为： //table[contains(@class, 'mod_table table1')]//td/text()" 完整代码： import requests from lxml import htm

Python网页爬虫爬取豆瓣Top250电影数据——Xpath数据解析_爬虫电影

最新发布

2401_84009698的博客

04-21

1313

而在a标签下的第二个span标签中包含的文本内容是电影的英文标题，所以我们只需要将span[1]改成span[2]就可以获取到电影的英文标题。接下来获取电影详情页的链接，链接就在a标签中，是a标签的属性href的属性值，我们复制a标签的xpath。定位到a标签，要取其属性href的值需要在该路径后加上/@href 即可。将这些信息打印看一下是否获取到正确信息：我们已经获取到了第一部电影的中英文标题和详情页链接，它们都各自存放在一个列表中。

2 条评论您还未登录，请先登录后发表或查看评论

爬虫-定位网页元素

weixin_41089914的博客

11-21

222

https://blog.csdn.net/rankun1/article/details/81357179

定位网页内容

lqbz的总结

01-04

364

模拟浏览器访问后，解析定位网页内容 from lxml import etree # 导入解析包 ResponseHtml = Requests.post(url, data, headers=xxHeaders) # 此处简写post请求 parser = etree.HTML(ResponseHtml.text) # 使用etree解析 infos = parser.xpath('//from[@name='action']//table[2]//tr) # 使用xpath定位，form下名为acti

Python爬虫教程30：Selenium网页元素，定位的8种方法！

我的Python教程

12-29

6197

（二）根据name定位：在HTML当中，name属性和id属性的功能基本相同，只是name属性并不是唯一的，如果遇到没有id标签的时候，我们可以考虑通过name标签来进行定位。（六）partial link text定位：有时候一个超链接的文本很长，我们如果全部输入，既麻烦，又显得代码很不美观，这时候我们就可以只截取一部分字符串，进行模糊匹配。绝对路径：表示页面元素，在网页的HTML代码结构中，从根节点一层层地搜索到需要被定位的页面元素，绝对路径起始于正斜杠（/），每一步均被斜杠分割。

python爬虫之定位网页元素的三种方式

热门推荐

Barry的博客

08-02

4万+

在做爬虫的过程中，网页元素的定位是比较重要的一环，本文总结了python爬虫中比较常用的三种定位网页元素的方式。 1.普通的BeautifulSoup find系列操作 2.BeautifulSoup css选择器 3. xpath 这三种方式灵活运用，再配合上正则表达式，没有什么网页能难倒你啦。我们以获取豆瓣电影top250第一页的电影标题为例来比较： import reques...

《python3网络爬虫开发实战》学习笔记：：selenium——xpath：Unable to locate element

01-08

selenium+firefox在定位时遇到selenium.common.exceptions.NoSuchElementException: Message: Unable to locate element: ...这种定位错误一般很少出现，因为其中的xpath路径一般是通过copy xpath而不是自

Python网页爬虫爬取豆瓣Top250电影数据——Xpath数据解析_爬虫电影(1)

2401_84009626的博客

04-21

1627

前面说过，每个li标签下都是一部电影的信息，一个页面有25部电影，那么就应该有25个li标签，我们可以通过li标签的下标定位获取到不同的li标签。以上就是我们获取一部电影数据的过程，接下来要获取一个页面的全部电影信息，然后通过循环翻页，获取不同页面的电影信息。需要嵌套循环，第一层循环通过改变data参数中的start的值来实现翻页，第二层循环则是遍历每个页面中的li标签，获取该页面每一部电影的数据。接下来获取电影详情页的链接，链接就在a标签中，是a标签的属性href的属性值，我们复制a标签的xpath。

动态网页数据抓取（一）

qq_42281053的博客

06-26

4192

1.什么是AJAX?AJAX = Asynchronous JavaScript and XML（异步的 JavaScript 和 XML）。AJAX 不是新的编程语言，而是一种使用现有标准的新方法。AJAX 最大的优点是在不重新加载整个页面的情况下，可以与服务器交换数据并更新部分网页内容。AJAX 不需要任何浏览器插件，但需要用户允许JavaScript在浏览器上执行。详细参考：http://w...

xpath: Python网页爬虫定位辅助利器

Ur.于书记

09-07

4704

网页爬虫可以使用Python的正则模块(re), 当然我今天要隆重推荐的是xpath. xpath需要安装xpath的基础包:lxml 首先看一个例子:(爬取果壳的最新推荐文章列表) import requests from lxml import etreeurl = 'http://www.guokr.com/' page = requests.get(url).contents = et

web页面元素的8种定位方法

weixin_33737774的博客

04-18

2万+

一、web页面元素定位工具介绍 1、打开google浏览器，按F12进入开发者模式，如下图： 2、用鼠标点击下图红色框中的箭头——然后鼠标移动到web页面的元素上（此处为百度框），会自动定位到对应的html代码，如下图：二、web页面元素的8种定位方法: 1、通过元素的id属性来定位元素——id是唯一标识（每个id都是不一样的） driver.find_elem...

python爬虫定位元素_python爬虫之定位网页元素的三种方式

weixin_27374911的博客

12-29

1944

python爬虫之定位网页元素的三种方式2018年08月02日 13:30:02Barry__阅读数：1373标签：python更多css我的分类：pythonhtml版权声明：本文为博主原创文章，转载请注明出处 https://blog.csdn.net/rankun1/article/details/81357179python在作爬虫的过程当中，网页元素的定位是比较重要的一环，本...

python爬虫中如何获取页面元素的定位

Nancy

09-11

6808

1.以谷歌浏览器为例：F12后刷新，点击如图所示的按钮： 2 .选中某个元素，右键，copy: 有：copy selector copy XPath

网页html数据定位,html5 Geolocation 地理定位

weixin_28889765的博客

06-05

372

一、Geolocation 概述Geolocation API 在网页中使用 geolocation 对象向javaScript 提供经度和纬度。利用 geolocation 对象，可以获取用户位置和跟踪用户位置的变化。1.1 Geolocation API 获取地理位置的方式设备使用下列数据源：IP地址 - 任何地方可用，不精确GPS - 很精确，定位需要时间长，耗电大，室内效果不好，需要额外设...

html页面定位到指定位置的4种实现方式

Lv骚年

02-22

1万+

主要运用.scrollintoView()跳转定位；示例： location.href = "#top"; $("html,body").animate({scrollTop: $("#jys").offset().top}, 500); $("#cao")[0].scrollIntoView(); document.forms[0].scrollIntoVie...

网页爬虫XPath 定位

宁静致远's 博客

06-14

1961

XPath 定位最近使用到了XPath进行爬虫标签的定位，就将常用的语法总结了一下，方便下次使用时做参考。 1.基本语法 # 倒数第二个 book 元素 //bookstore/book[last()-1] # 除了第一个 book 元素 //bookstore/book[position()&amp;amp;amp;gt;1] # price 元素的值须大于 35.00 且不等于 38.00...