scrapy学习——xpath的学习

最新推荐文章于 2020-10-14 19:18:57 发布
最新推荐文章于 2020-10-14 19:18:57 发布
阅读量425 收藏
点赞数
分类专栏： Python

定位
1.依靠自己属性，文本定位
//td[text()='xxx']
//div[contains(@class,'xxx')]
//div[@class='xxx' and @type='xxx']
 
2.依靠父节点定位
//div[@class='xxx']/div
//div[@id='xxx']/div
 
 
3.依靠子节点定位
//div[div[@id='xxx']]
//div[div[@name='xxx']]
 
4.混合型
//div[div[@name='xxx']]/img
//td[a/font[contains(text(),'xxx')]]//input[@type='xxx']
 
xpath的学习-拓展
1.following-sibling
following-sibling即为“选择当前节点之后的所有同级节点”，那么没有加上“sibling”关键字的，搜索的就是之上/之下的所有节点，忽略同级概念，例如：
<div>
<input id="123">
<input>    
</div>
要定位第二个input：//input[@id='123']/following-sibling::input
 
2.preceding-sibling
preceding-sibling的解释是“选取当前节点之前的所有同级节点”，那么没有加上“sibling”关键字的，搜索的就是之上/之下的所有节点，忽略同级概念，                                  preceding-sibling和following-sibling是刚好相反的
<div>
<span>text</span>
<input id="123">    
</div>
要定位第二个input：//input[@id='123']/preceding-sibling::span
 
3.contains
和字面意思一样就是包含，例如：//div[contains(@class,'xxx')]
 
4.starts-with
和字面意思一样就是以某某开头，例如：//input[starts-with(@class,'xxx')]
 
5.not
就是否定的意思
比如找一个id不为123的input：input[not[id='123']]
又如找一个文本中不包含xxx字段的span：//span[not(contains(text(),'xxx'))]
 
xpath的学习-补充
绝对路径 html/body/div/span[2]/input[2] 中间结构变化，就失效
相对路径 //开始，在整个html source里找，不管在什么位置
 
索引[x]  //div/input[2] div下面第二个input
 
position()=2position()>3position()<3
例如html：<div id="positions">
<input>
<span>test position()1</span>
<span>test position()2</span>
<span>test position()3</span>
<span>test position()4</span>
<span>test position()5</span>
</input>
</div>
获取第一个span，可以是//div[@id='positions']/span[1]，也可以是//div[@id='positions']/span[position()=1]
//div[@id='positions']/span[position()>3]就是定位了test position()4和test position()5
//div[@id='positions']/span[position()<3]就是定位了test position()1和test position()2
 
last()last()-1
以上面的html为例子，获取最后一个span：//div[@id='positions']/span[last()]
以上面的html为例子，获取倒数第二个span：//div[@id='positions']/span[last()-1]
 
属性定位@class   //div[@class]  有class属性的div
属性值定位，前面已经讲过了  //div[@class='xxx']
 
功能关键字
1.常用
and/[][]，比如://span[@name='xxx' and text()='xxx']也是可以写成//span[@name='xxx'][text()='xxx']
or，比如以上面html为例子，定位文本为test position()5和test position()4的span ：//div[@id='positions']/span[text()='test position()5' or text()='test position()4']
not,contains,starts-with
ends-with 在xpath中是没有这个的
2.不常用的
substring,substring-before,substing-after
 
sbustring(str,start-position,length) 比如html：
<div id="xxx">
<span name="?-xxxxx-09">text</span>
</div>
定位上面html中span：//div[@id='xxx']/span[substring(@name,3,5)='xxxxx']
 
substring-before的用法，比如html
<div id="xxx">
<span class="spanclass1-789">text</span>
</div>
定位上面html中span：//div[@id="xxx"]/span[sbustring-before(@class,"-")="spanclass1"]
 
substring-after的用法，比如html
<div id="xxx">
<span class="789-spanclass2">text</span>
</div>
定位上面html中span：//div[@id="xxx"]/span[sbustring-after(@class,"-")="spanclass22"]
通配符  *
比如//span[@*="xxx"]指定位span中任意属性包含xxx的
比如//*[@*="xxx"]指定位页面中任意属性保护xxx的标签
 
Axes 轴
parent 父节点
ancestor 祖先节点，包括父节点，一层一层向上
descendant 所有子孙节点找，不管什么位置，简写//，就是xpath中出现//的情况。。//div[@class="xxx"]//input
follwing-sibling 当前元素后面的兄弟姐妹
preceding-sibling 当前元素前面的兄弟姐妹
following 当前元素后面所有元素，一直到</html>
preceding  当前元素之前所有元素，一直到<html>
ancestor-or-self
descendant-or-self
使用的时候注意加上::

天岚锦辰
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Scrapy中提取规则的编写——xpath&css
qq_26601387的博客
12-06 323
xpath&css详解 先启动一个网页 scrapy shell https://.......#启动一个网址 xpath用法 response.xpath('//title/text()').getall()#获取所有title节点中的文本 response.xpath('//title/text()').get()#获取第一个title节点中的文本 response.xpath('/...
scrapy——高级深度操作
01-27
Scrapy 是一个强大的 Python 爬虫框架，它支持高级深度操作，使开发者能够高效地爬取复杂的网页结构。在 Scrapy 中实现深度爬虫主要涉及两个关键概念：Response 对象和 Request 对象，以及 CrawlSpider 类型的使用。...
xpath的学习
weixin_30615767的博客
01-23 91
xpath的作用就是两个字“定位”，运用各种方法进行快速准确的定位，推荐两个非常有用的的firefox工具：firebug和xpath checker 定位 1.依靠自己属性，文本定位 //td[text()='xxx'] //div[contains(@class,'xxx')] //div[@class='xxx' and @type='xxx'] 2.依靠父节点定位 ...
XPath的学习
taizhen/blog
09-16 306
什么是XPath：  xpath 是一个w3c 标准。是xslt中的主要元素。 类似于xml 等有一些标准。  在 XPath 中，有七种类型的节点：元素、属性、文本、命名空间、处理指令、注释以及文档（根）节点 例如： 谓语（Predicates） 谓语用来查找某个特定的节点或者包含某个指定的值的节点。 谓语被嵌在方括号中。 实例 在下面的表格中
Scrapy爬虫框架学习之XPath
BigOrange的博客
01-04 824
一，什么是XPath XPath即XML路径语言（XML Path Language）,是一种查询语言，能在XML的树状结构中寻找到你要的节点，并使用XPath的特殊语法提取节点中的数据。是获取网页中数据的一个利器。（HTML也是一种xml）通俗的讲，XPath是一种按照“地址” 找 “人”的语言 二，如何使用XPath 关于XPath的语法的表达式元素请参照我的上一篇文章 XPath语法元...
Scrapy XPath语法
07-11 69
selectors = response.xpath('[exp]') 返回所有符合exp的语句Selector列表 data = response.xpath('[exp]')[0].extract() 返回Selector列表第一项的内容 '/html/head' 从根节点匹配 '//td/p' 从任意节点匹配 '//td/p/../..' 从任意节点匹配上两级 '//...
Scrapy爬虫项目——阿里文学&当当网
12-21
在`parse`函数中，可以使用XPath或CSS选择器来定位和提取数据，如在当当网商品数据的示例中。 3. 使用`yield`语句将解析出的`Item`对象传递给`pipelines`进行后续处理。 4. 编写`pipelines.py`中的类，如`...
Python Scrapy网络爬虫框架学习资料（原创）
最新发布
05-26
### Python Scrapy网络爬虫框架学习资料 #### Scrapy爬虫框架概述 Scrapy是一个用纯Python编写的高效网络爬虫框架，它不仅提供了一系列工具和API，还具备灵活的扩展性和高度定制化的特性，使其成为开发专业网络...
Python之scrapy爬虫文件
11-29
**Python之Scrapy爬虫文件**是针对Python编程语言中著名的Web爬虫框架Scrapy的深入学习资料。Scrapy是一个高效、强大的爬虫框架，它为开发者提供了完整的爬取、解析网页以及存储数据的解决方案。本文件包包含了多个...
scrapy框架-表情包爬虫
10-28
此外，Scrapy框架还提供了强大的选择器工具——XPath和CSS选择器，用于从HTML或XML文档中提取数据。开发者可以轻松地定位到表情包的URL，进而发起下载请求。Scrapy的中间件系统允许自定义下载行为，例如设置User-...
scrapy的xpath语法
dream8062的专栏
12-20 708
Scrapy是基于python的开源爬虫框架，使用起来也比较方便。具体的官网档：http://doc.scrapy.org/en/latest/ 　　之前以为了解python就可以直接爬网站了，原来还要了解HTML，XML的基本协议，在了解基础以后，在了解下xpath的基础上，再使用正则表达式(python下的re包提供支持)提取一定格式的信息（比如说url），就比较容易处理网页了。 　　xp
Scrapy爬虫：XPath语法
灵动的艺术的博客
12-05 3371
Scrapy爬虫：XPath语法路径表达式路径案例谓语（Predicates）谓语实例选取未知节点实例选取若干路径实例Xpath轴功能函数注意事项：提取内容 XPath 使用路径表达式来选取 XML 文档中的节点或节点集。节点是通过沿着路径 (path) 或者步 (steps) 来选取的。 路径表达式 表达式 描述 nodename 选取此节点的所有子节点。 / 从根节点选取。...
Scrapy框架之selecter.xpath()函数的语法总结
weixin_43343144的博客
02-23 782
Xpath（XML的语法规则）语法规则官方手册：http://www.w3school.com.cn/xpath/xpath_syntax.asp 具体用法总结：（函数部分参考xml手册） html = ''' &lt;div&gt; &lt;ul&gt; &lt;li class="toctree-l1"&gt;&lt;a ...
scrapy Xpath表达式
qq_40435621的博客
04-10 151
XPath是什么 XPath 使用路径表达式在xml文档中进行导航 包含一个标准函数库 是xslt中的主要元素 是一个w3c标准 节点 在XPath中，有七种类型的节点：元素、属性、文本、命名空间、处理指令、注释以及文档（根）节点。 节点关系 父： 每个元素及属性都有一个父。 子：元素节点可有零个、一个或多个子。 同胞：拥有相同的父的节点。 先辈：某个节点的父、父的父、等 后代：某个节点的子、...
python scrapy xpath常用语法
ShellDawn的博客
02-24 716
Node[not(@class)] //不含class属性的node节点 Node[contains(text(),a)] //文本包含字符串a的node节点 Node[count(span)=2] //包含两个span节点的node节点未完待续
Python scrapy框架爬虫之xPath表达式
mafang9601的博客
07-29 251
/ 提取文本信息： text()   提取标签属性信息：@ /html/head/title/text()     //li  寻找所有li标签 标签[@属性=值] //li[@class='hidden-xs']/a/@href
scrapy_selector_xpath基础语法
Z_Sam
01-16 1077
# 《精通 scrapy 网络爬虫》第3章 第3节（即3.3）xpath 实例 from scrapy.selector import Selector from scrapy.http import HtmlResponse body = ''' <html> <head> <base href='http://example.com'/> &l...
xpath语法（爬虫必学语法， scrapy之路）
k8vg___的博客
10-14 253
相信写过爬虫的同学，都知道XPath的存在。博主最近在学习Scrapy的时候，就了解了一下XPath语法，这里给大家简单地介绍一下： 节点（node） 在 XPath 中，有七种类型的节点：元素、属性、文本、命名空间、处理指令、注释以及文档（根）节点。XML 文档是被作为节点树来对待的。树的根被称为文档节点或者根节点。 <?xml version="1.0" encoding="ISO-8859-1"?> <class> <student&g
3、scrapy——xpath语法
热门推荐
badman250的专栏
03-19 3万+
XPath 是一门在 XML 文档中查找信息的语言。XPath 用于在 XML 文档中通过元素和属性进行导航。         XPath 含有超过 100 个内建的函数。这些函数用于字符串值、数值、日期和时间比较、节点和 QName 处理、序列处理、逻辑值等等。         XPath 是 W3C 标准,XPath 于 1999 年 11 月 16 日 成为 W3C 标准。XPath 被
爬虫教程——用Scrapy爬取豆瓣TOP250
05-18
好的，下面我来为你介绍一下如何使用Scrapy爬取豆瓣TOP250电影信息。 1. 安装Scrapy 首先，你需要安装Scrapy。如果你已经安装了Python，可以在命令行中使用以下命令安装Scrapy： ``` pip install Scrapy ``` 2. 创建Scrapy项目 接下来，我们需要创建一个Scrapy项目。在命令行中输入以下命令： ``` scrapy startproject douban_top250 ``` 这将会在当前目录下创建一个名为“douban_top250”的文件夹，其中包含了Scrapy项目的基本结构。 3. 编写爬虫代码 在“douban_top250/spiders”目录下创建一个名为“douban.py”的文件，并输入以下代码： ```python import scrapy class DoubanSpider(scrapy.Spider): name = 'douban' allowed_domains = ['movie.douban.com'] start_urls = ['https://movie.douban.com/top250'] def parse(self, response): for movie in response.xpath('//div[@class="hd"]'): yield { 'title': movie.xpath('.//span[@class="title"]/text()').extract_first(), 'rating': movie.xpath('../div[@class="bd"]/div[@class="star"]/span[@class="rating_num"]/text()').extract_first(), 'link': movie.xpath('.//a/@href').extract_first(), } next_page = response.xpath('//span[@class="next"]/a/@href') if next_page: yield response.follow(next_page[0], self.parse) ``` 这段代码定义了一个名为“DoubanSpider”的类，用于爬取豆瓣电影TOP250的电影名称、评分和链接。在这个类中，我们使用了XPath选择器来定位页面中的元素。 4. 运行爬虫 在命令行中进入“douban_top250”文件夹，并输入以下命令来运行爬虫： ``` scrapy crawl douban -o douban_top250.csv ``` 这将会运行刚才编写的“DoubanSpider”爬虫，并将结果保存在名为“douban_top250.csv”的文件中。 至此，你已经学会了如何使用Scrapy来爬取豆瓣TOP250电影信息。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值