1 scrapy——xpath路径使用

本文介绍了如何在Scrapy中使用XPath来提取网页信息,包括如何实例化Selector对象、XPath的基本路径操作以及结合正则表达式的应用。通过示例展示了抓取网页标题和特定链接的过程。
摘要由CSDN通过智能技术生成

分享一下我老师大神的人工智能教程!零基础,通俗易懂!http://blog.csdn.net/jiangjunshow

也欢迎大家转载本篇文章。分享知识,造福人民,实现我们中华民族伟大复兴!

               



        Scrapy是基于Python的开源爬虫框架,具体的官网档:http://doc.scrapy.org/en/latest/

  除了HTML,XML的基本协议,了解xpath的基础上,再使用正则表达式(python下的re包提供支持)提取一定格式的信息

  xpath是Scrapy下快速提取特定信息(如title,head,href等)的一个接口。

        为了方便使用XPaths,Scrapy提供XPathSelector 类,有两种可以选择,HtmlXPathSelector(HTML数据解析)和XmlXPathSelector(XML数据解析)。

        必须通过一个 Response 对象对他们进行实例化操作。

        Selector对象展示了文档的节点结构。因此,第一个实例化的selector必与根节点或者是整个目录有关 。

在Scrapy里面,Selectors 有四种基础的方法(可以查看API文档):

xpath():返回一系列的selectors,每一个select表示一个xpath参数表达式选择的节点

css():返回一系列的selectors,每一个select表示一个css参数表达式选择的节点

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值