scrapy_selector_xpath基础语法

最新推荐文章于 2020-10-14 19:18:57 发布
最新推荐文章于 2020-10-14 19:18:57 发布
阅读量1k 收藏 7
点赞数 1
分类专栏： scrapy python库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010553139/article/details/104006117
版权

XPath表达式

表达式描述
/选中文档的根（root）
.选中当前节点
…选中当前节点的父节点
ELEMENT选中子节点中所有ELEMENT元素节点
//ELEMENT选中后代节点中所ELEMENT元素节点
*选中所有元素子节点
text()选中所文本子节点
@ATTR选中名为ATTR的属性节点
@*选中所有属性节点
[谓语]谓语用来查找特定的节点或者包含某个特定值的节点
# 《精通 scrapy 网络爬虫》第3章 第3节（即3.3）xpath 实例

from scrapy.selector import Selector
from scrapy.http import HtmlResponse

body = '''
<html>
	<head>
		<base href='http://example.com'/>
		<title>Example website</title>
	</head>
	<body>
		<div id='images'>
			<a href='image1.html'>Name:Image 1 <br/><img src="image1.jpg"/></a>
			<a href='image2.html'>Name:Image 2 <br/><img src="image2.jpg"/></a>
			<a href='image3.html'>Name:Image 3 <br/><img src="image3.jpg"/></a>
			<a href='image4.html'>Name:Image 4 <br/><img src="image4.jpg"/></a>
			<a href='image5.html'>Name:Image 5 <br/><img src="image5.jpg"/></a>
		</div>
	</body>
</html>
'''
response = HtmlResponse(url='http://www.example.com/', body=body, encoding='utf-8')

# /: 一个从根开始的绝对路径
print('[1]==========/: 一个从根开始的绝对路径==========')
print(response.xpath('/html'))
print(response.xpath('/html/head'))
# E1/E2：选中E1节点中所有E2
print('[2]==========E1/E2：选中E1节点中所有E2==========')
print(response.xpath('/html/body/div/a'))
# //E: 选中文档中所有E，无论在什么位置
print('[3]==========//E: 选中文档中所有E，无论在什么位置==========')
print(response.xpath('//a'))
# E1//E2:选中E1后代节点中所有E2，无论在后代中的什么位置
print('[4]==========E1//E2:选中E1后代节点中所有E2，无论在后代中的什么位置==========')
print(response.xpath('/html/body//img'))
print(response.xpath('/html/body//a'))
# E/text():选中E的文本子节点
print('[5]==========E/text():选中E的文本子节点==========')
print(response.xpath('//a/text()'))
print(response.xpath('//a/text()'))
# E/*:选中E的所有元素子节点
print('[6]==========E/*:选中E的所有元素子节点==========')
print(response.xpath('/html/*'))
print(response.xpath('//body/*'))
# */E:选中孙节点中的所有E
print('[7]==========*/E:选中孙节点中的所有E==========')
print(response.xpath('//div/*/img'))
# E/@ATTR: 选中E的ATTR属性
print('[8]==========E/@ATTR: 选中E的ATTR属性==========')
print(response.xpath('//img/@src'))
# //@ATTR: 选中文档中所有Attr属性
print('[9]==========//@ATTR: 选中文档中所有Attr属性==========')
print(response.xpath('//@href'))
print(response.xpath('//@href'))
# E/@*:选中E的所有属性
print('[10]==========E/@*:选中E的所有属性==========')
print(response.xpath('//a[1]/img/@*'))
# .:选中当前节点，用来描述相对路径
print('[11]==========.:选中当前节点，用来描述相对路径==========')
sel = response.xpath('//a')[0]
print(sel)
print(sel.xpath('//img')) # //img 是绝对路径，从根开始搜索，不是从当前a开始
print(sel.xpath('.//img'))# .//img 描述当前节点后代中所有img
# ..: 选中当前节点的父节点，用来描述相对路径
print('[12]==========..: 选中当前节点的父节点，用来描述相对路径==========')
print(response.xpath('..//img'))
# node[谓语]：用来查找某个特定的节点或者包含某个特定值的节点
# a中的第3 个
print('[13]==========a中的第 3 个==========')
print(response.xpath('//a[3]'))
# last函数,选中最后1个
print('[14]==========last函数,选中最后1个==========')
print(response.xpath('//a[last()]'))
# position函数，选中前3个
print('[15]==========position函数，选中前3个==========')
print(response.xpath('//a[position()<=2]'))
# 选中所有含有id属性的div
print('[16]==========选中所有含有id属性的div==========')
print(response.xpath('//div[@id]'))
# 选中所有含有id属性且值为"images"的div
print('[17]==========选中所有含有id属性且值为"images"的div==========')
print(response.xpath('//div[@id="images"]'),'\n')

# 常用函数
print('==========xpath常用函数==========')
print('[1]==========string(arg):返回参数字符串值==========')
text = '<a href="#">Click here to go the <strong> Next Page </strong></a>'
sel = Selector(text=text)
print(sel)
print(sel.xpath('//a/strong').extract())
print(sel.xpath('string(/html/body/a/strong/text())').extract())
print(sel.xpath('/html/body/a//text()').extract())
print(sel.xpath('string(/html/body/a)').extract())
print('[2]==========contains(str1,str2):判断str1中是否包含str2，返回布尔值==========')
text = '''
<div>
    <p class="small info">hello world</p>
    <p class="normal info">hell scrapy</p>
</div>
'''
sel=Selector(text=text)
print(sel.xpath('//p'))
print(sel.xpath('//p[contains(@class,"small")]'))
print(sel.xpath('//p[contains(@class,"info")]'))
print(sel.xpath('//p[contains(@class,"info1")]'))
------------------------
D:\Python38\python.exe D:/Project0611/ScrapyBook/practise/scrapySelectorXpathTest.py
[1]==========/: 一个从根开始的绝对路径==========
[<Selector xpath='/html' data='<html>\n\t<head>\n\t\t<base href="http://e...'>]
[<Selector xpath='/html/head' data='<head>\n\t\t<base href="http://example.c...'>]
[2]==========E1/E2：选中E1节点中所有E2==========
[<Selector xpath='/html/body/div/a' data='<a href="image1.html">Name:Image 1 <b...'>, <Selector xpath='/html/body/div/a' data='<a href="image2.html">Name:Image 2 <b...'>, <Selector xpath='/html/body/div/a' data='<a href="image3.html">Name:Image 3 <b...'>, <Selector xpath='/html/body/div/a' data='<a href="image4.html">Name:Image 4 <b...'>, <Selector xpath='/html/body/div/a' data='<a href="image5.html">Name:Image 5 <b...'>]
[3]==========//E: 选中文档中所有E，无论在什么位置==========
[<Selector xpath='//a' data='<a href="image1.html">Name:Image 1 <b...'>, <Selector xpath='//a' data='<a href="image2.html">Name:Image 2 <b...'>, <Selector xpath='//a' data='<a href="image3.html">Name:Image 3 <b...'>, <Selector xpath='//a' data='<a href="image4.html">Name:Image 4 <b...'>, <Selector xpath='//a' data='<a href="image5.html">Name:Image 5 <b...'>]
[4]==========E1//E2:选中E1后代节点中所有E2，无论在后代中的什么位置==========
[<Selector xpath='/html/body//img' data='<img src="image1.jpg">'>, <Selector xpath='/html/body//img' data='<img src="image2.jpg">'>, <Selector xpath='/html/body//img' data='<img src="image3.jpg">'>, <Selector xpath='/html/body//img' data='<img src="image4.jpg">'>, <Selector xpath='/html/body//img' data='<img src="image5.jpg">'>]
[<Selector xpath='/html/body//a' data='<a href="image1.html">Name:Image 1 <b...'>, <Selector xpath='/html/body//a' data='<a href="image2.html">Name:Image 2 <b...'>, <Selector xpath='/html/body//a' data='<a href="image3.html">Name:Image 3 <b...'>, <Selector xpath='/html/body//a' data='<a href="image4.html">Name:Image 4 <b...'>, <Selector xpath='/html/body//a' data='<a href="image5.html">Name:Image 5 <b...'>]
[5]==========E/text():选中E的文本子节点==========
[<Selector xpath='//a/text()' data='Name:Image 1 '>, <Selector xpath='//a/text()' data='Name:Image 2 '>, <Selector xpath='//a/text()' data='Name:Image 3 '>, <Selector xpath='//a/text()' data='Name:Image 4 '>, <Selector xpath='//a/text()' data='Name:Image 5 '>]
[<Selector xpath='//a/text()' data='Name:Image 1 '>, <Selector xpath='//a/text()' data='Name:Image 2 '>, <Selector xpath='//a/text()' data='Name:Image 3 '>, <Selector xpath='//a/text()' data='Name:Image 4 '>, <Selector xpath='//a/text()' data='Name:Image 5 '>]
[6]==========E/*:选中E的所有元素子节点==========
[<Selector xpath='/html/*' data='<head>\n\t\t<base href="http://example.c...'>, <Selector xpath='/html/*' data='<body>\n\t\t<div id="images">\n\t\t\t<a href...'>]
[<Selector xpath='//body/*' data='<div id="images">\n\t\t\t<a href="image1....'>]
[7]==========*/E:选中孙节点中的所有E==========
[<Selector xpath='//div/*/img' data='<img src="image1.jpg">'>, <Selector xpath='//div/*/img' data='<img src="image2.jpg">'>, <Selector xpath='//div/*/img' data='<img src="image3.jpg">'>, <Selector xpath='//div/*/img' data='<img src="image4.jpg">'>, <Selector xpath='//div/*/img' data='<img src="image5.jpg">'>]
[8]==========E/@ATTR: 选中E的ATTR属性==========
[<Selector xpath='//img/@src' data='image1.jpg'>, <Selector xpath='//img/@src' data='image2.jpg'>, <Selector xpath='//img/@src' data='image3.jpg'>, <Selector xpath='//img/@src' data='image4.jpg'>, <Selector xpath='//img/@src' data='image5.jpg'>]
[9]==========//@ATTR: 选中文档中所有Attr属性==========
[<Selector xpath='//@href' data='http://example.com'>, <Selector xpath='//@href' data='image1.html'>, <Selector xpath='//@href' data='image2.html'>, <Selector xpath='//@href' data='image3.html'>, <Selector xpath='//@href' data='image4.html'>, <Selector xpath='//@href' data='image5.html'>]
[<Selector xpath='//@href' data='http://example.com'>, <Selector xpath='//@href' data='image1.html'>, <Selector xpath='//@href' data='image2.html'>, <Selector xpath='//@href' data='image3.html'>, <Selector xpath='//@href' data='image4.html'>, <Selector xpath='//@href' data='image5.html'>]
[10]==========E/@*:选中E的所有属性==========
[<Selector xpath='//a[1]/img/@*' data='image1.jpg'>]
[11]==========.:选中当前节点，用来描述相对路径==========
<Selector xpath='//a' data='<a href="image1.html">Name:Image 1 <b...'>
[<Selector xpath='//img' data='<img src="image1.jpg">'>, <Selector xpath='//img' data='<img src="image2.jpg">'>, <Selector xpath='//img' data='<img src="image3.jpg">'>, <Selector xpath='//img' data='<img src="image4.jpg">'>, <Selector xpath='//img' data='<img src="image5.jpg">'>]
[<Selector xpath='.//img' data='<img src="image1.jpg">'>]
[12]==========..: 选中当前节点的父节点，用来描述相对路径==========
[<Selector xpath='..//img' data='<img src="image1.jpg">'>, <Selector xpath='..//img' data='<img src="image2.jpg">'>, <Selector xpath='..//img' data='<img src="image3.jpg">'>, <Selector xpath='..//img' data='<img src="image4.jpg">'>, <Selector xpath='..//img' data='<img src="image5.jpg">'>]
[13]==========a中的第 3 个==========
[<Selector xpath='//a[3]' data='<a href="image3.html">Name:Image 3 <b...'>]
[14]==========last函数,选中最后1个==========
[<Selector xpath='//a[last()]' data='<a href="image5.html">Name:Image 5 <b...'>]
[15]==========position函数，选中前3个==========
[<Selector xpath='//a[position()<=2]' data='<a href="image1.html">Name:Image 1 <b...'>, <Selector xpath='//a[position()<=2]' data='<a href="image2.html">Name:Image 2 <b...'>]
[16]==========选中所有含有id属性的div==========
[<Selector xpath='//div[@id]' data='<div id="images">\n\t\t\t<a href="image1....'>]
[17]==========选中所有含有id属性且值为"images"的div==========
[<Selector xpath='//div[@id="images"]' data='<div id="images">\n\t\t\t<a href="image1....'>] 

==========xpath常用函数==========
[1]==========string(arg):返回参数字符串值==========
<Selector xpath=None data='<html><body><a href="#">Click here to...'>
['<strong> Next Page </strong>']
[' Next Page ']
['Click here to go the ', ' Next Page ']
['Click here to go the  Next Page ']
[2]==========contains(str1,str2):判断str1中是否包含str2，返回布尔值==========
[<Selector xpath='//p' data='<p class="small info">hello world</p>'>, <Selector xpath='//p' data='<p class="normal info">hell scrapy</p>'>]
[<Selector xpath='//p[contains(@class,"small")]' data='<p class="small info">hello world</p>'>]
[<Selector xpath='//p[contains(@class,"info")]' data='<p class="small info">hello world</p>'>, <Selector xpath='//p[contains(@class,"info")]' data='<p class="normal info">hell scrapy</p>'>]
[]

Process finished with exit code 0

更多代码

Z_sam
关注
专栏目录
scrapy Selector用法及xpath语法
自带buff
04-07 3063
准备工作 html示例: <?xml version="1.0" encoding="UTF-8"?> <html <head> <title>text</title> </head> <body> <div class="cdiv"> <p class="cp1 section"&...
scrapy_project.zip
05-07
Scrapy是一个强大的Python爬虫框架，它为开发者提供了一个高效且结构化的数据抓取环境。在"scrapy_project.zip"这个压缩包中，我们可以预见到一个完整的Scrapy项目实例。让我们深入探讨一下Scrapy框架的核心组件和...
scrapy解析库之Xpath( Selectors)
difu0201的博客
12-22 576
#1 //与/ #2 text #3、extract与extract_first:从selector对象中解出内容 #4、属性：xpath的属性加前缀@ #4、嵌套查找 #5、设置默认值 #4、按照属性查找 #5、按照属性模糊查找 #6、正则表达式 #7、xpath相对路径 #8、带变量的xpath response.selector.css() re...
Scrapy XPath语法
07-11 75
selectors = response.xpath('[exp]') 返回所有符合exp的语句Selector列表 data = response.xpath('[exp]')[0].extract() 返回Selector列表第一项的内容 '/html/head' 从根节点匹配 '//td/p' 从任意节点匹配 '//td/p/../..' 从任意节点匹配上两级 '//...
scrapy的xpath语法
dream8062的专栏
12-20 718
Scrapy是基于python的开源爬虫框架，使用起来也比较方便。具体的官网档：http://doc.scrapy.org/en/latest/ 　　之前以为了解python就可以直接爬网站了，原来还要了解HTML，XML的基本协议，在了解基础以后，在了解下xpath的基础上，再使用正则表达式(python下的re包提供支持)提取一定格式的信息（比如说url），就比较容易处理网页了。 　　xp
Python Scrapy使用Selector、xpath、css选择器提取数据
阿优乐扬的博客
08-01 7292
从页面中提取数据的核心技术是HTTP文本解析，在Python 中常用以下模块处理此类问题: BeautifulSoup lxml 非常流行的HTTP解析库，API 简洁易用，但解析速度较慢。 由C语言编写的xml解析库( libxml2)，解析速度更快，API相对复杂。 Scrapy综合上述两者优点实现了Selector 类，它是基于lxml库构建的，并简化了API接口。在Sc...
scrapy_爬虫python_tailua9_python_百度图片爬虫_scrapy_
10-02
使用Scrapy的`Selector`或`PyQuery`库，我们可以解析HTML内容，找到图片链接。同时，Scrapy提供了`FormRequest`或`Ajaxcrawl` middleware来处理需要通过POST请求或JavaScript加载的内容。 接下来，我们将创建一个...
精通Scrapy网络爬虫_python_scrapy_
09-29
5. **Selector**：Scrapy内置了XPath和CSS选择器，用于从HTML或XML文档中提取数据。它们提供了强大的解析功能，使你能方便地定位到目标元素。 6. **Downloader Middleware**：下载中间件是一系列钩子，可以修改...
精通Scrapy网络爬虫_爬虫_scrapy_
10-04
1. **Python基础知识**：熟悉Python语法是使用Scrapy的前提，包括函数、类、模块和异常处理。 2. **HTML和XPath/CSS**：理解网页结构并能使用选择器提取数据。 3. **网络爬虫法规**：了解robots.txt协议和网络爬虫...
XPath Selector详解，scrapy框架下xpath选择器介绍
csdn_bajie
02-18 2248
XPath Selector详解 Scrapy爬虫参考博客 XPath 是一门在 XML、HTML、XHTML 文档中查找信息的语言。（以下能在XML中的操作都能在HTML中执行） 什么是 XPath? 1：XPath 使用路径表达式在 XML 文档中进行导航 2：XPath 包含一个标准函数库 3：XPath 是 XSLT 中的主要元素 4：XPath 是一个 W3C 标准 XPath 路径表达...
css选择器(selector) xPath的选择器
09-25
去年我学jQuery的时候，曾经做过一点选择器（selector）的笔记,今天是CSS的选择器，以后还有一部分xPath的选择器。今天的笔记中包括44个选择器，基本涵盖了CSS 2和CSS 3的所有规定
Scrapy爬虫：XPath语法
灵动的艺术的博客
12-05 3485
Scrapy爬虫：XPath语法路径表达式路径案例谓语（Predicates）谓语实例选取未知节点实例选取若干路径实例Xpath轴功能函数注意事项：提取内容 XPath 使用路径表达式来选取 XML 文档中的节点或节点集。节点是通过沿着路径 (path) 或者步 (steps) 来选取的。 路径表达式 表达式 描述 nodename 选取此节点的所有子节点。 / 从根节点选取。...
Scrapy框架之selecter.xpath()函数的语法总结
weixin_43343144的博客
02-23 783
Xpath（XML的语法规则）语法规则官方手册：http://www.w3school.com.cn/xpath/xpath_syntax.asp 具体用法总结：（函数部分参考xml手册） html = ''' &lt;div&gt; &lt;ul&gt; &lt;li class="toctree-l1"&gt;&lt;a ...
scrapy Xpath表达式
qq_40435621的博客
04-10 161
XPath是什么 XPath 使用路径表达式在xml文档中进行导航 包含一个标准函数库 是xslt中的主要元素 是一个w3c标准 节点 在XPath中，有七种类型的节点：元素、属性、文本、命名空间、处理指令、注释以及文档（根）节点。 节点关系 父： 每个元素及属性都有一个父。 子：元素节点可有零个、一个或多个子。 同胞：拥有相同的父的节点。 先辈：某个节点的父、父的父、等 后代：某个节点的子、...
python scrapy xpath常用语法
ShellDawn的博客
02-24 721
Node[not(@class)] //不含class属性的node节点 Node[contains(text(),a)] //文本包含字符串a的node节点 Node[count(span)=2] //包含两个span节点的node节点未完待续
Python scrapy框架爬虫之xPath表达式
mafang9601的博客
07-29 256
/ 提取文本信息： text()   提取标签属性信息：@ /html/head/title/text()     //li  寻找所有li标签 标签[@属性=值] //li[@class='hidden-xs']/a/@href
xpath语法（爬虫必学语法， scrapy之路）
k8vg___的博客
10-14 258
相信写过爬虫的同学，都知道XPath的存在。博主最近在学习Scrapy的时候，就了解了一下XPath语法，这里给大家简单地介绍一下： 节点（node） 在 XPath 中，有七种类型的节点：元素、属性、文本、命名空间、处理指令、注释以及文档（根）节点。XML 文档是被作为节点树来对待的。树的根被称为文档节点或者根节点。 <?xml version="1.0" encoding="ISO-8859-1"?> <class> <student&g
3、scrapy——xpath语法
热门推荐
badman250的专栏
03-19 3万+
XPath 是一门在 XML 文档中查找信息的语言。XPath 用于在 XML 文档中通过元素和属性进行导航。         XPath 含有超过 100 个内建的函数。这些函数用于字符串值、数值、日期和时间比较、节点和 QName 处理、序列处理、逻辑值等等。         XPath 是 W3C 标准,XPath 于 1999 年 11 月 16 日 成为 W3C 标准。XPath 被
scrapy的Xpath表达式总结
weixin_30535565的博客
09-19 150
我们在使用scrapy的时候，常常会用到xpath表达式，用过xpath你会觉得，哇，比正则简单呀！确实，xpath简单明了，但是并不代表xpath在scrapy里面会替代掉正则哦！ 1.什么是xpath 　　Xpath是一门在XML文档中查找信息的语言，可以对XML文档中的元素和属性使用路径表达式进行导航，Xpath包含一个标准函数库。 2.xpath常用标签 　　/ -----...
爬虫获得动态总页数wait_for_selector
最新发布
09-19
`wait_for_selector`通常是在像Selenium这样的浏览器自动化工具或者某些Python爬虫库（如Scrapy的WaitMiddleware或Puppeteer API）中使用的功能。 `wait_for_selector`的作用是让你的爬虫等待直到某个特定的选择器...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值