scrapy_selector_xpath基础语法

最新推荐文章于 2022-09-17 22:34:07 发布
最新推荐文章于 2022-09-17 22:34:07 发布
阅读量1k 收藏 7
点赞数 1
分类专栏： scrapy python库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010553139/article/details/104006117
版权

XPath表达式

表达式描述
/选中文档的根（root）
.选中当前节点
…选中当前节点的父节点
ELEMENT选中子节点中所有ELEMENT元素节点
//ELEMENT选中后代节点中所ELEMENT元素节点
*选中所有元素子节点
text()选中所文本子节点
@ATTR选中名为ATTR的属性节点
@*选中所有属性节点
[谓语]谓语用来查找特定的节点或者包含某个特定值的节点
# 《精通 scrapy 网络爬虫》第3章 第3节（即3.3）xpath 实例

from scrapy.selector import Selector
from scrapy.http import HtmlResponse

body = '''
<html>
	<head>
		<base href='http://example.com'/>
		<title>Example website</title>
	</head>
	<body>
		<div id='images'>
			<a href='image1.html'>Name:Image 1 <br/><img src="image1.jpg"/></a>
			<a href='image2.html'>Name:Image 2 <br/><img src="image2.jpg"/></a>
			<a href='image3.html'>Name:Image 3 <br/><img src="image3.jpg"/></a>
			<a href='image4.html'>Name:Image 4 <br/><img src="image4.jpg"/></a>
			<a href='image5.html'>Name:Image 5 <br/><img src="image5.jpg"/></a>
		</div>
	</body>
</html>
'''
response = HtmlResponse(url='http://www.example.com/', body=body, encoding='utf-8')

# /: 一个从根开始的绝对路径
print('[1]==========/: 一个从根开始的绝对路径==========')
print(response.xpath('/html'))
print(response.xpath('/html/head'))
# E1/E2：选中E1节点中所有E2
print('[2]==========E1/E2：选中E1节点中所有E2==========')
print(response.xpath('/html/body/div/a'))
# //E: 选中文档中所有E，无论在什么位置
print('[3]==========//E: 选中文档中所有E，无论在什么位置==========')
print(response.xpath('//a'))
# E1//E2:选中E1后代节点中所有E2，无论在后代中的什么位置
print('[4]==========E1//E2:选中E1后代节点中所有E2，无论在后代中的什么位置==========')
print(response.xpath('/html/body//img'))
print(response.xpath('/html/body//a'))
# E/text():选中E的文本子节点
print('[5]==========E/text():选中E的文本子节点==========')
print(response.xpath('//a/text()'))
print(response.xpath('//a/text()'))
# E/*:选中E的所有元素子节点
print('[6]==========E/*:选中E的所有元素子节点==========')
print(response.xpath('/html/*'))
print(response.xpath('//body/*'))
# */E:选中孙节点中的所有E
print('[7]==========*/E:选中孙节点中的所有E==========')
print(response.xpath('//div/*/img'))
# E/@ATTR: 选中E的ATTR属性
print('[8]==========E/@ATTR: 选中E的ATTR属性==========')
print(response.xpath('//img/@src'))
# //@ATTR: 选中文档中所有Attr属性
print('[9]==========//@ATTR: 选中文档中所有Attr属性==========')
print(response.xpath('//@href'))
print(response.xpath('//@href'))
# E/@*:选中E的所有属性
print('[10]==========E/@*:选中E的所有属性==========')
print(response.xpath('//a[1]/img/@*'))
# .:选中当前节点，用来描述相对路径
print('[11]==========.:选中当前节点，用来描述相对路径==========')
sel = response.xpath('//a')[0]
print(sel)
print(sel.xpath('//img')) # //img 是绝对路径，从根开始搜索，不是从当前a开始
print(sel.xpath('.//img'))# .//img 描述当前节点后代中所有img
# ..: 选中当前节点的父节点，用来描述相对路径
print('[12]==========..: 选中当前节点的父节点，用来描述相对路径==========')
print(response.xpath('..//img'))
# node[谓语]：用来查找某个特定的节点或者包含某个特定值的节点
# a中的第3 个
print('[13]==========a中的第 3 个==========')
print(response.xpath('//a[3]'))
# last函数,选中最后1个
print('[14]==========last函数,选中最后1个==========')
print(response.xpath('//a[last()]'))
# position函数，选中前3个
print('[15]==========position函数，选中前3个==========')
print(response.xpath('//a[position()<=2]'))
# 选中所有含有id属性的div
print('[16]==========选中所有含有id属性的div==========')
print(response.xpath('//div[@id]'))
# 选中所有含有id属性且值为"images"的div
print('[17]==========选中所有含有id属性且值为"images"的div==========')
print(response.xpath('//div[@id="images"]'),'\n')

# 常用函数
print('==========xpath常用函数==========')
print('[1]==========string(arg):返回参数字符串值==========')
text = '<a href="#">Click here to go the <strong> Next Page </strong></a>'
sel = Selector(text=text)
print(sel)
print(sel.xpath('//a/strong').extract())
print(sel.xpath('string(/html/body/a/strong/text())').extract())
print(sel.xpath('/html/body/a//text()').extract())
print(sel.xpath('string(/html/body/a)').extract())
print('[2]==========contains(str1,str2):判断str1中是否包含str2，返回布尔值==========')
text = '''
<div>
    <p class="small info">hello world</p>
    <p class="normal info">hell scrapy</p>
</div>
'''
sel=Selector(text=text)
print(sel.xpath('//p'))
print(sel.xpath('//p[contains(@class,"small")]'))
print(sel.xpath('//p[contains(@class,"info")]'))
print(sel.xpath('//p[contains(@class,"info1")]'))
------------------------
D:\Python38\python.exe D:/Project0611/ScrapyBook/practise/scrapySelectorXpathTest.py
[1]==========/: 一个从根开始的绝对路径==========
[<Selector xpath='/html' data='<html>\n\t<head>\n\t\t<base href="http://e...'>]
[<Selector xpath='/html/head' data='<head>\n\t\t<base href="http://example.c...'>]
[2]==========E1/E2：选中E1节点中所有E2==========
[<Selector xpath='/html/body/div/a' data='<a href="image1.html">Name:Image 1 <b...'>, <Selector xpath='/html/body/div/a' data='<a href="image2.html">Name:Image 2 <b...'>, <Selector xpath='/html/body/div/a' data='<a href="image3.html">Name:Image 3 <b...'>, <Selector xpath='/html/body/div/a' data='<a href="image4.html">Name:Image 4 <b...'>, <Selector xpath='/html/body/div/a' data='<a href="image5.html">Name:Image 5 <b...'>]
[3]==========//E: 选中文档中所有E，无论在什么位置==========
[<Selector xpath='//a' data='<a href="image1.html">Name:Image 1 <b...'>, <Selector xpath='//a' data='<a href="image2.html">Name:Image 2 <b...'>, <Selector xpath='//a' data='<a href="image3.html">Name:Image 3 <b...'>, <Selector xpath='//a' data='<a href="image4.html">Name:Image 4 <b...'>, <Selector xpath='//a' data='<a href="image5.html">Name:Image 5 <b...'>]
[4]==========E1//E2:选中E1后代节点中所有E2，无论在后代中的什么位置==========
[<Selector xpath='/html/body//img' data='<img src="image1.jpg">'>, <Selector xpath='/html/body//img' data='<img src="image2.jpg">'>, <Selector xpath='/html/body//img' data='<img src="image3.jpg">'>, <Selector xpath='/html/body//img' data='<img src="image4.jpg">'>, <Selector xpath='/html/body//img' data='<img src="image5.jpg">'>]
[<Selector xpath='/html/body//a' data='<a href="image1.html">Name:Image 1 <b...'>, <Selector xpath='/html/body//a' data='<a href="image2.html">Name:Image 2 <b...'>, <Selector xpath='/html/body//a' data='<a href="image3.html">Name:Image 3 <b...'>, <Selector xpath='/html/body//a' data='<a href="image4.html">Name:Image 4 <b...'>, <Selector xpath='/html/body//a' data='<a href="image5.html">Name:Image 5 <b...'>]
[5]==========E/text():选中E的文本子节点==========
[<Selector xpath='//a/text()' data='Name:Image 1 '>, <Selector xpath='//a/text()' data='Name:Image 2 '>, <Selector xpath='//a/text()' data='Name:Image 3 '>, <Selector xpath='//a/text()' data='Name:Image 4 '>, <Selector xpath='//a/text()' data='Name:Image 5 '>]
[<Selector xpath='//a/text()' data='Name:Image 1 '>, <Selector xpath='//a/text()' data='Name:Image 2 '>, <Selector xpath='//a/text()' data='Name:Image 3 '>, <Selector xpath='//a/text()' data='Name:Image 4 '>, <Selector xpath='//a/text()' data='Name:Image 5 '>]
[6]==========E/*:选中E的所有元素子节点==========
[<Selector xpath='/html/*' data='<head>\n\t\t<base href="http://example.c...'>, <Selector xpath='/html/*' data='<body>\n\t\t<div id="images">\n\t\t\t<a href...'>]
[<Selector xpath='//body/*' data='<div id="images">\n\t\t\t<a href="image1....'>]
[7]==========*/E:选中孙节点中的所有E==========
[<Selector xpath='//div/*/img' data='<img src="image1.jpg">'>, <Selector xpath='//div/*/img' data='<img src="image2.jpg">'>, <Selector xpath='//div/*/img' data='<img src="image3.jpg">'>, <Selector xpath='//div/*/img' data='<img src="image4.jpg">'>, <Selector xpath='//div/*/img' data='<img src="image5.jpg">'>]
[8]==========E/@ATTR: 选中E的ATTR属性==========
[<Selector xpath='//img/@src' data='image1.jpg'>, <Selector xpath='//img/@src' data='image2.jpg'>, <Selector xpath='//img/@src' data='image3.jpg'>, <Selector xpath='//img/@src' data='image4.jpg'>, <Selector xpath='//img/@src' data='image5.jpg'>]
[9]==========//@ATTR: 选中文档中所有Attr属性==========
[<Selector xpath='//@href' data='http://example.com'>, <Selector xpath='//@href' data='image1.html'>, <Selector xpath='//@href' data='image2.html'>, <Selector xpath='//@href' data='image3.html'>, <Selector xpath='//@href' data='image4.html'>, <Selector xpath='//@href' data='image5.html'>]
[<Selector xpath='//@href' data='http://example.com'>, <Selector xpath='//@href' data='image1.html'>, <Selector xpath='//@href' data='image2.html'>, <Selector xpath='//@href' data='image3.html'>, <Selector xpath='//@href' data='image4.html'>, <Selector xpath='//@href' data='image5.html'>]
[10]==========E/@*:选中E的所有属性==========
[<Selector xpath='//a[1]/img/@*' data='image1.jpg'>]
[11]==========.:选中当前节点，用来描述相对路径==========
<Selector xpath='//a' data='<a href="image1.html">Name:Image 1 <b...'>
[<Selector xpath='//img' data='<img src="image1.jpg">'>, <Selector xpath='//img' data='<img src="image2.jpg">'>, <Selector xpath='//img' data='<img src="image3.jpg">'>, <Selector xpath='//img' data='<img src="image4.jpg">'>, <Selector xpath='//img' data='<img src="image5.jpg">'>]
[<Selector xpath='.//img' data='<img src="image1.jpg">'>]
[12]==========..: 选中当前节点的父节点，用来描述相对路径==========
[<Selector xpath='..//img' data='<img src="image1.jpg">'>, <Selector xpath='..//img' data='<img src="image2.jpg">'>, <Selector xpath='..//img' data='<img src="image3.jpg">'>, <Selector xpath='..//img' data='<img src="image4.jpg">'>, <Selector xpath='..//img' data='<img src="image5.jpg">'>]
[13]==========a中的第 3 个==========
[<Selector xpath='//a[3]' data='<a href="image3.html">Name:Image 3 <b...'>]
[14]==========last函数,选中最后1个==========
[<Selector xpath='//a[last()]' data='<a href="image5.html">Name:Image 5 <b...'>]
[15]==========position函数，选中前3个==========
[<Selector xpath='//a[position()<=2]' data='<a href="image1.html">Name:Image 1 <b...'>, <Selector xpath='//a[position()<=2]' data='<a href="image2.html">Name:Image 2 <b...'>]
[16]==========选中所有含有id属性的div==========
[<Selector xpath='//div[@id]' data='<div id="images">\n\t\t\t<a href="image1....'>]
[17]==========选中所有含有id属性且值为"images"的div==========
[<Selector xpath='//div[@id="images"]' data='<div id="images">\n\t\t\t<a href="image1....'>] 

==========xpath常用函数==========
[1]==========string(arg):返回参数字符串值==========
<Selector xpath=None data='<html><body><a href="#">Click here to...'>
['<strong> Next Page </strong>']
[' Next Page ']
['Click here to go the ', ' Next Page ']
['Click here to go the  Next Page ']
[2]==========contains(str1,str2):判断str1中是否包含str2，返回布尔值==========
[<Selector xpath='//p' data='<p class="small info">hello world</p>'>, <Selector xpath='//p' data='<p class="normal info">hell scrapy</p>'>]
[<Selector xpath='//p[contains(@class,"small")]' data='<p class="small info">hello world</p>'>]
[<Selector xpath='//p[contains(@class,"info")]' data='<p class="small info">hello world</p>'>, <Selector xpath='//p[contains(@class,"info")]' data='<p class="normal info">hell scrapy</p>'>]
[]

Process finished with exit code 0

更多代码

Z_sam
关注
  • 1
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
scrapy_project.zip
05-07
Scrapy是一个强大的Python爬虫框架，它为开发者提供了一个高效且结构化的数据抓取环境。在"scrapy_project.zip"这个压缩包中，我们可以预见到一个完整的Scrapy项目实例。让我们深入探讨一下Scrapy框架的核心组件和...
scrapy Selector用法及xpath语法
自带buff
04-07 3057
准备工作 html示例: <?xml version="1.0" encoding="UTF-8"?> <html <head> <title>text</title> </head> <body> <div class="cdiv"> <p class="cp1 section"&...
Selector提取数据1：XPath选择器
OneFine的技术博客
02-02 5245
scrapy-xpath选择器
XPATH 轴
weixin_30556959的博客
02-27 185
轴名称结果 ancestor 选取当前节点的所有先辈（父、祖父等）。 ancestor-or-self 选取当前节点的所有先辈（父、祖父等）以及当前节点本身。 attribute 选取当前节点的所有属性。 child 选取当前节点的所有子元素。 descendant 选取当前节点的所有后代元素（子、孙等）。 descenda...
python爬虫 selector xpath提取网页内容
IT_arookie的博客
09-24 1万+
提取 网页内容 四大基本方法之 3.xpath提取网页内容 selector模块 XML 节点选择 表达式 描述 nodename 选取此节点的所有子节点。 / 从根节点选取。 // 从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。 . 选取当前节点。 .. 选取当前节点的父节点。 @ 选取属性。 bookstore 选取 bookstore 元...
Scrapy爬虫：XPath语法
灵动的艺术的博客
12-05 3471
Scrapy爬虫：XPath语法路径表达式路径案例谓语（Predicates）谓语实例选取未知节点实例选取若干路径实例Xpath轴功能函数注意事项：提取内容 XPath 使用路径表达式来选取 XML 文档中的节点或节点集。节点是通过沿着路径 (path) 或者步 (steps) 来选取的。 路径表达式 表达式 描述 nodename 选取此节点的所有子节点。 / 从根节点选取。...
scrapy_爬虫python_tailua9_python_百度图片爬虫_scrapy_
10-02
使用Scrapy的`Selector`或`PyQuery`库，我们可以解析HTML内容，找到图片链接。同时，Scrapy提供了`FormRequest`或`Ajaxcrawl` middleware来处理需要通过POST请求或JavaScript加载的内容。 接下来，我们将创建一个...
精通Scrapy网络爬虫_python_scrapy_
09-29
5. **Selector**：Scrapy内置了XPath和CSS选择器，用于从HTML或XML文档中提取数据。它们提供了强大的解析功能，使你能方便地定位到目标元素。 6. **Downloader Middleware**：下载中间件是一系列钩子，可以修改...
精通Scrapy网络爬虫_爬虫_scrapy_
10-04
1. **Python基础知识**：熟悉Python语法是使用Scrapy的前提，包括函数、类、模块和异常处理。 2. **HTML和XPath/CSS**：理解网页结构并能使用选择器提取数据。 3. **网络爬虫法规**：了解robots.txt协议和网络爬虫...
bili_danmu_爬虫_CRAWL_scrapy_
09-30
5. **网页解析**：在B站弹幕爬虫中，可能需要使用Scrapy的内置解析器（如`Selector`）或第三方库如BeautifulSoup，解析HTML以找到弹幕数据的JavaScript变量或隐藏元素。 6. **请求与响应处理**：Scrapy使用`Request...
xpath的学习
weixin_30615767的博客
01-23 96
xpath的作用就是两个字“定位”，运用各种方法进行快速准确的定位，推荐两个非常有用的的firefox工具：firebug和xpath checker 定位 1.依靠自己属性，文本定位 //td[text()='xxx'] //div[contains(@class,'xxx')] //div[@class='xxx' and @type='xxx'] 2.依靠父节点定位 ...
爬虫系列3：scrapy技术进阶（xpath、rules、shell等）
JackFeng's Blog
06-08 1万+
本文主要介绍与scrapy应用紧密相关的关键技术，不求很深入，但求能够提取要点。内容包括： 1、xpath选择器：选择页面中想要的内容 2、rules规则：定义爬虫要爬取的域 3、scrapy shell调试：辅助调试工具 4、去重设置：内置的防止重复爬取的工具 5、防屏蔽：通过设置爬取时间间隔防屏蔽
scrapy的xpath语法
dream8062的专栏
12-20 716
Scrapy是基于python的开源爬虫框架，使用起来也比较方便。具体的官网档：http://doc.scrapy.org/en/latest/ 　　之前以为了解python就可以直接爬网站了，原来还要了解HTML，XML的基本协议，在了解基础以后，在了解下xpath的基础上，再使用正则表达式(python下的re包提供支持)提取一定格式的信息（比如说url），就比较容易处理网页了。 　　xp
3、scrapy——xpath语法
热门推荐
badman250的专栏
03-19 3万+
XPath 是一门在 XML 文档中查找信息的语言。XPath 用于在 XML 文档中通过元素和属性进行导航。         XPath 含有超过 100 个内建的函数。这些函数用于字符串值、数值、日期和时间比较、节点和 QName 处理、序列处理、逻辑值等等。         XPath 是 W3C 标准,XPath 于 1999 年 11 月 16 日 成为 W3C 标准。XPath 被
xpath语法（爬虫必学语法， scrapy之路）
k8vg___的博客
10-14 256
相信写过爬虫的同学，都知道XPath的存在。博主最近在学习Scrapy的时候，就了解了一下XPath语法，这里给大家简单地介绍一下： 节点（node） 在 XPath 中，有七种类型的节点：元素、属性、文本、命名空间、处理指令、注释以及文档（根）节点。XML 文档是被作为节点树来对待的。树的根被称为文档节点或者根节点。 <?xml version="1.0" encoding="ISO-8859-1"?> <class> <student&g
Scrapy-xpath用法以及实例
Co_zy的博客
10-24 1万+
xpath的语法xpath语法-谓语使用方法可以直接在chrome->F12开发者工具中复制xpath这里介绍一种测试的方法平时我们在pycharm或者编辑器需要每次运行,就需要一次次请求,这里可以用以下的方法: 假设我们需要爬取伯乐在线的一篇文章,链接为 http://blog.jobbole.com/112614/ 我们爬取一篇文章的标题,发布时间,点赞数,收藏数,评论数 命令行执行如下s
xpath操作表达式及在scrapy中的应用
Rowlingz
04-02 420
目录最常用的路径表达式：谓语选取未知节点XPath 轴功能函数xpath在scrapy，spider提取元素及属性定位的应用 XPath 是一门在 XML 文档中查找信息的语言。 XPath 用于在 XML 文档中通过元素和属性进行导航。 XPath 使用路径表达式来选取 XML 文档中的节点或者节点集。 通过在路径表达式中使用“|”运算符，您可以选取若干个路径。 最常用的路径表达式： 表...
爬虫之lxml模块和xpath
seanyang_的博客
09-17 842
lxml库是一款 Python 数据解析库，参考重要文档在在Python中，为了使用XPath，需要安装一个第三方库：lxml，使用lxml才能从html通过xpath方法读取内容。
快捷查询方式--- selector:选择器/ XPath
z12397_的博客
08-05 540
快捷查询方式： 1. selector:选择器 * 使用的方法：Elements select​(String cssQuery) * 语法：参考Selector类中定义的语法 2. XPath：XPath即为XML路径语言，它是一种用来确定XML（标准通用标记语言的子集）文档中某部分位置的语言 * 使用Jsoup的Xpath需要额外导入jar包。 * 查询w3cs...
scrapy的Selector有什么用
最新发布
03-05
Scrapy的Selector是一个强大的工具，可以用于从HTML或XML文档中提取数据。它可以通过XPath或CSS选择器来定位特定的元素，并提取它们的内容。这对于爬取网页数据非常有用，可以帮助我们快速准确地获取所需的信息。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值