Scrapy下xpath基本的使用方法

最新推荐文章于 2024-06-28 15:36:23 发布
最新推荐文章于 2024-06-28 15:36:23 发布
阅读量911 收藏
点赞数
分类专栏： Python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/levy_cui/article/details/52816943
版权
Scrapy是基于python的开源爬虫框架，使用起来也比较方便。具体的官网档：http://doc.scrapy.org/en/latest/
之前以为了解python就可以直接爬网站了，原来还要了解HTML，XML的基本协议，在了解基础以后，在了解下xpath的基础上，再使用正则表达式(python下的re包提供支持)提取一定格式的信息（比如说url），就比较容易处理网页了。
xpath是Scrapy下快速提取特定信息（如title,head,href等）的一个接口。

几个简单的例子：
/html/head/title: 选择HTML文档<head>元素下面的<title> 标签。
/html/head/title/text(): 选择前面提到的<title> 元素下面的文本内容
//td: 选择所有 <td> 元素
//div[@class="mine"]: 选择所有包含 class="mine" 属性的div 标签元素

基本的路径意义：


具体的使用实例：
比如对http://www.dmoz.org/Computers/Programming/Languages/Python/Books/ 网站提取特定的信息
1）、先在第一层tutorial文件夹下，在cmd中输入： scrapy shell http://www.dmoz.org/Computers/Programming/Languages/Python/Books/
2）、现在比如我们需要抓取该网页的tittle，由于前面的shell命令已经实例化了一个selector的对象sel， 就输入 sel.xpath('//title') 获取了网页的标题。
3）、比如我们想要知道该网页下的www.****.com形式的链接，可以使用xpath 结合正则表达式re提取信息，输入   sel.xpath('//@href').re("www.[0-9a-zA-Z]+\.com")
TURING.DT
关注
专栏目录
scrapy中xpath示例用法
06-23
几乎涵盖了所有scrapy中xpath的用法
Scrapy爬虫：XPath语法
灵动的艺术的博客
12-05 3485
Scrapy爬虫：XPath语法路径表达式路径案例谓语（Predicates）谓语实例选取未知节点实例选取若干路径实例Xpath轴功能函数注意事项：提取内容 XPath 使用路径表达式来选取 XML 文档中的节点或节点集。节点是通过沿着路径 (path) 或者步 (steps) 来选取的。 路径表达式 表达式 描述 nodename 选取此节点的所有子节点。 / 从根节点选取。...
【scrapy】3.XPath解析
最新发布
铁盒薄荷糖的博客
06-28 663
示例：//a[@class='active' and @href='/home'] 可以匹配同时满足 class 属性值为 "active" 和 href 属性值为 "/home" 的 元素。示例：//a[@class='active' or @class='highlight'] 可以匹配class属性为"active"或"class"属性为"highlight"的a元素。//父元素名[@属性名1='属性值1']/子元素名[@属性名2='属性值2']：通过指定父元素和子元素的属性条件来定位元素。
xpath的学习
weixin_30615767的博客
01-23 97
xpath的作用就是两个字“定位”，运用各种方法进行快速准确的定位，推荐两个非常有用的的firefox工具：firebug和xpath checker 定位 1.依靠自己属性，文本定位 //td[text()='xxx'] //div[contains(@class,'xxx')] //div[@class='xxx' and @type='xxx'] 2.依靠父节点定位 ...
scrapy的xpath语法
dream8062的专栏
12-20 718
Scrapy是基于python的开源爬虫框架，使用起来也比较方便。具体的官网档：http://doc.scrapy.org/en/latest/ 　　之前以为了解python就可以直接爬网站了，原来还要了解HTML，XML的基本协议，在了解基础以后，在了解下xpath的基础上，再使用正则表达式(python下的re包提供支持)提取一定格式的信息（比如说url），就比较容易处理网页了。 　　xp
爬虫系列3：scrapy技术进阶（xpath、rules、shell等）
JackFeng's Blog
06-08 1万+
本文主要介绍与scrapy应用紧密相关的关键技术，不求很深入，但求能够提取要点。内容包括： 1、xpath选择器：选择页面中想要的内容 2、rules规则：定义爬虫要爬取的域 3、scrapy shell调试：辅助调试工具 4、去重设置：内置的防止重复爬取的工具 5、防屏蔽：通过设置爬取时间间隔防屏蔽
Scrapy使用的基本流程与实例讲解
09-20
- 在`parse`方法中，使用Scrapy选择器（如`xpath`或`css`）来提取页面中的数据，并创建Item对象进行数据填充。 4. **定义Item结构** - 在`items.py`文件中定义数据模型，即Item类。每个Item代表一个数据模型，...
Scrapy框架爬虫基本使用流程
12-21
在本文中，我们将深入探讨Scrapy的基本使用流程，包括项目的创建、爬虫定义、数据模型、管道（pipelines）以及爬虫的运行机制。 首先，要创建一个Scrapy项目，你需要在命令行中输入`scrapy startproject [项目名称]...
scrapy爬虫下CSS的使用
12-22
此外，Scrapy还提供了`response.xpath()`方法，它与`response.css()`类似，但使用XPath表达式进行选择，这给了开发者更多的灵活性。 总结起来，这个"scrapy爬虫下CSS的使用"项目重点介绍了如何在Scrapy中利用CSS...
Scrapy框架的使用之Scrapy通用爬虫
01-27
`link_extractor`通常使用`LxmlLinkExtractor`，它可以按照正则表达式、域名、XPath或CSS选择器来筛选需要跟进的链接。`allow`和`deny`用于定义允许和禁止的链接模式，而`allow_domains`和`deny_domains`则控制了...
Scrapy-xpath用法以及实例
Co_zy的博客
10-24 1万+
xpath的语法xpath语法-谓语使用方法可以直接在chrome->F12开发者工具中复制xpath这里介绍一种测试的方法平时我们在pycharm或者编辑器需要每次运行,就需要一次次请求,这里可以用以下的方法: 假设我们需要爬取伯乐在线的一篇文章,链接为 http://blog.jobbole.com/112614/ 我们爬取一篇文章的标题,发布时间,点赞数,收藏数,评论数 命令行执行如下s
3、scrapy——xpath语法
热门推荐
badman250的专栏
03-19 3万+
XPath 是一门在 XML 文档中查找信息的语言。XPath 用于在 XML 文档中通过元素和属性进行导航。         XPath 含有超过 100 个内建的函数。这些函数用于字符串值、数值、日期和时间比较、节点和 QName 处理、序列处理、逻辑值等等。         XPath 是 W3C 标准,XPath 于 1999 年 11 月 16 日 成为 W3C 标准。XPath 被
xpath操作表达式及在scrapy中的应用
Rowlingz
04-02 432
目录最常用的路径表达式：谓语选取未知节点XPath 轴功能函数xpath在scrapy，spider提取元素及属性定位的应用 XPath 是一门在 XML 文档中查找信息的语言。 XPath 用于在 XML 文档中通过元素和属性进行导航。 XPath 使用路径表达式来选取 XML 文档中的节点或者节点集。 通过在路径表达式中使用“|”运算符，您可以选取若干个路径。 最常用的路径表达式： 表...
xpath语法（爬虫必学语法， scrapy之路）
k8vg___的博客
10-14 258
相信写过爬虫的同学，都知道XPath的存在。博主最近在学习Scrapy的时候，就了解了一下XPath语法，这里给大家简单地介绍一下： 节点（node） 在 XPath 中，有七种类型的节点：元素、属性、文本、命名空间、处理指令、注释以及文档（根）节点。XML 文档是被作为节点树来对待的。树的根被称为文档节点或者根节点。 <?xml version="1.0" encoding="ISO-8859-1"?> <class> <student&g
scrapy_selector_xpath基础语法
Z_Sam
01-16 1081
# 《精通 scrapy 网络爬虫》第3章 第3节（即3.3）xpath 实例 from scrapy.selector import Selector from scrapy.http import HtmlResponse body = ''' <html> <head> <base href='http://example.com'/> &l...
Scrapy XPath语法
07-11 75
selectors = response.xpath('[exp]') 返回所有符合exp的语句Selector列表 data = response.xpath('[exp]')[0].extract() 返回Selector列表第一项的内容 '/html/head' 从根节点匹配 '//td/p' 从任意节点匹配 '//td/p/../..' 从任意节点匹配上两级 '//...
Python3之Scrapy学习（二）scrapy之xpath语法简介
Chengf_的博客
05-17 968
一、xpath简介 1.xpath使用路径表达式在xml和html中进行导航 2.xpath包含标准函数库 3.xpath是w3c标准 二、xpath节点关系 1.父节点 2.子节点 3.同胞节点 4.先辈节点 5.后代节点 三、xpath语法 ...
Scrapy框架之selecter.xpath()函数的语法总结
weixin_43343144的博客
02-23 783
Xpath（XML的语法规则）语法规则官方手册：http://www.w3school.com.cn/xpath/xpath_syntax.asp 具体用法总结：（函数部分参考xml手册） html = ''' &lt;div&gt; &lt;ul&gt; &lt;li class="toctree-l1"&gt;&lt;a ...
python scrapy xpath常用语法
ShellDawn的博客
02-24 721
Node[not(@class)] //不含class属性的node节点 Node[contains(text(),a)] //文本包含字符串a的node节点 Node[count(span)=2] //包含两个span节点的node节点未完待续
scrapy框架使用xpath
10-18
好的，关于Scrapy框架使用XPath，你可以在Scrapy的Spider中使用Selector来进行XPath选择器的操作。具体步骤如下： 1. 在Spider中引入Selector： ``` from scrapy.selector import Selector ``` 2. 在Spider的parse...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值