1、scrapy——xpath路径使用



        Scrapy是基于Python的开源爬虫框架,具体的官网档:http://doc.scrapy.org/en/latest/

  除了HTML,XML的基本协议,了解xpath的基础上,再使用正则表达式(python下的re包提供支持)提取一定格式的信息

  xpath是Scrapy下快速提取特定信息(如title,head,href等)的一个接口。

        为了方便使用XPaths,Scrapy提供XPathSelector 类,有两种可以选择,HtmlXPathSelector(HTML数据解析)和XmlXPathSelector(XML数据解析)。

        必须通过一个 Response 对象对他们进行实例化操作。

        Selector对象展示了文档的节点结构。因此,第一个实例化的selector必与根节点或者是整个目录有关 。

在Scrapy里面,Selectors 有四种基础的方法(可以查看API文档):

xpath():返回一系列的selectors,每一个select表示一个xpath参数表达式选择的节点

css():返回一系列的selectors,每一个select表示一个css参数表达式选择的节点

extract():返回一个unicode字符串,为选中的数据

re():返回一串一个unicode字符串,为使用正则表达式抓取出来的内容


基本的路径意义:

表达式 描述

nodename 选取此节点的所有子节点。

/ 从根节点选取。

// 从匹配选择的当前节点选择文档中的节点,而不考虑它们的位置。

. 选取当前节点。

.. 选取当前节点的父节点。

@ 选取属性。

实验

1)、先在第一层tutorial文件夹下,在cmd中输入:

scrapy shell http://www.dmoz.org/Computers/Programming/Languages/Python/Books/  

2)、现在比如我们需要抓取该网页的tittle,由于前面的shell命令已经实例化了一个selector的对象sel, 就输入 sel.xpath('//title') 获取了网页的标题。response.xpath()命令

输出如下:

[<Selector xpath='//title' data=u'<title>DMOZ - Computers: Programming: La'>]

3)、比如我们想要知道该网页下的www.****.com形式的链接,可以使用xpath 结合正则表达式re提取信息,输入   sel.xpath(‘//@href’).re("www.[0-9a-zA-Z]+\.com")

输出如下:

[u'www.facebook.com', u'www.twitter.com', u'www.brpreiss.com', u'www.brpreiss.com', u'www.techbooksforfree.com', u'www.techbooksforfree.com', u'www.freetechbooks.com', u'www.freetechbooks.com', u'www.wiley.com', u'www.wiley.com', u'www.wiley.com', u'www.wiley.com', u'www.packtpub.com', u'www.packtpub.com', u'www.informit.com', u'www.informit.com', u'www.informit.com', u'www.informit.com', u'www.informit.com', u'www.informit.com', u'www.ask.com', u'www.bing.com', u'www.google.com', u'www.ixquick.com', u'www.yandex.com']

输入response.body,你将会看到response的body部分

输入response.headers 来查看它的 header部分:

response.headers

{'Cteonnt-Length': ['46147'], 'Content-Language': ['en'], 'Set-Cookie': ['JSESSIONID=48ACB532CA38A46F84FB24C0918D54A1; Path=/; HttpOnly'], 'Server': ['Apache'], 'Date': ['Mon, 13 Mar 2017 15:11:01 GMT'], 'Content-Type': [‘text/html;charset=UTF-8']}

selector是一个筛子

        旧的版本中,Shell实例化两种selectors,一个是解析HTML的 hxs 变量,一个是解析XML 的 xxs 变量。

        而现在的Shell为我们准备好的selector对象,sel,可以根据返回的数据类型自动选择最佳的解析方案(XML or HTML)。

网页分析

sel.xpath('//title')

[<Selector xpath='//title' data=u'<title>DMOZ - Computers: Programming: La'>]

>>> 

能把title标签取出来,用extract()和text()还可以进一步做处理。

>>> sel.xpath('//title').extract()

[u'<title>DMOZ - Computers: Programming: Languages: Python: Books</title>’]

使用如下命令

>>> sel.xpath('//title/text()') 

[<Selector xpath='//title/text()' data=u'DMOZ - Computers: Programming: Languages'>]

>>> sel.xpath('//title/text()').extract()  

[u'DMOZ - Computers: Programming: Languages: Python: Books']

>>> sel.xpath('//title/text()').re('(\w+):') 

[u'Computers', u'Programming', u'Languages', u’Python']

这里使用里正则表达式,

获取对象列表

xpath返回了一个对象列表,

那么我们也可以直接调用这个列表中对象的属性挖掘更深的节点

sites = sel.xpath('//ul/li')

for site in sites:

    title = site.xpath('a/text()').extract()

    link = site.xpath('a/@href').extract()

    desc = site.xpath('text()').extract()

    print title, link, desc

参考链接

http://www.w3school.com.cn/xpath/ 


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值