Scrapy笔记

Scrapy框架编写流程

 

1、scrapy startproject XXXXX            //创建项目，XXXXX代表你项目的名字

 

2、创建好项目后，目录结构：

 

3、Scrapy默认是不能在IDE中调试的，我们在根目录中新建一个py文件叫：entrypoint.py；在里面写入以下内容：

#coding:utf8
from scrapy.cmdlineimport execute
#前两个参数是不变的，第三个参数请使用自己的spider的名字
execute(['scrapy', 'crawl', 'dingdian'])

 

4、编写Item，定义爬取字段

import scrapy

class DingdianItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    name = scrapy.Field();
    author = scrapy.Field();
    novelurl = scrapy.Field();

 

5、编写Spider

# encoding=utf8
import sys
reload(sys)
sys.setdefaultencoding('utf8')
import scrapy
from lxmlimport etree
from scrapy.httpimport Request
from FirstDemo.itemsimport DingdianItem

class MySpider(scrapy.Spider):

    name = 'dingdian'
    allowed_domains= ['23wx.cc']
    bash_url = 'http://www.23wx.cc/class/'
    bashurl= '.html'

    defstart_requests(self):
        for i in range(1,11):
            # 小说类别分类地址为：http://www.23wx.cc/class/1_1.html
            url = self.bash_url+str(i)+'_1'+self.bashurl
            # yield Request，请求新的URL，后面跟的是回调函数，你需要哪一个函数来处理
            # 这个返回值，返回值会以参数的形式传递给你所调用的函数。
            yield Request(url,self.parse)

    defparse(self, response):
        selector =etree.HTML(response.text)
        lis = selector.xpath('//div[@class="l"]//li/span[@class="s2"]')#BeautifulSoup(response.text,'lxml').find_all('li')
        for li in lis:
            novelname = li.xpath('a/text()')[0]
            novelurl = "http://www.23wx.cc"+li.xpath('a/@href')[0]
            yieldRequest(novelurl,callback=self.get_chapterurl,meta={'name':novelname,'url':novelurl})

    defget_chapterurl(self,response):
        item = DingdianItem()
        item['name'] = str(response.meta['name'])
        item['novelurl'] = response.meta['url']
        author =etree.HTML(response.text).xpath('//div[@id="info"]/p/text()')[0].replace('作    者：','')
        item['author'] = author
        yield item

 

6、编写pipelines，处理返回的item

from FirstDemo.items import DingdianItem

class FirstdemoPipeline(object):
    count = 0
    def process_item(self, item, spider):
        if isinstance(item,DingdianItem):
            FirstdemoPipeline.count+=1
            item['_id'] = FirstdemoPipeline.count
            print item['_id'],item['name'],item['author'],item['novelurl']

 

7、编写setting，启用这个Pipeline在settings中作如下设置：

ITEM_PIPELINES = {
   'FirstDemo.pipelines.FirstdemoPipeline': 300,
}

其中，PS: FirstDemo（项目目录）.pipelines（pipelines文件，也可以自己建立一个单独的文件夹下的pipelines文件）. FirstdemoPipeline（其中定义的类） 后面的 300是优先级程度（1-1000随意设置，数值越低，组件的优先级越高）。

Scrapy中多个pipeline时需要在setting中设置数字，如：

ITEM_PIPELINES = {
   #数字代表执行的先后顺序，每个pipeline都要return item
   'FirstDemo.pipelines.FirstdemoPipeline': 300,
   'FirstDemo.pipelines.AnothordemoPipeline': 400,
}

数字代表执行的先后顺序（小的先执行，一般1-1000）。每个pipeline都要return item。

 

Xpath语法

在 XPath 中，有七种类型的节点：元素、属性、文本、命名空间、处理指令、注释以及文档节点（或称为根节点）。

 

XML 实例文档

我们将在下面的例子中使用这个 XML 文档。

<?xml version="1.0"encoding="ISO-8859-1"?>

<bookstore>

<book>

  <title lang="eng">HarryPotter</title>

  <price>29.99</price>

</book>

<book>

  <title lang="eng">LearningXML</title>

  <price>39.95</price>

</book>

</bookstore>

选取节点

XPath 使用路径表达式在 XML 文档中选取节点。节点是通过沿着路径或者 step 来选取的。

下面列出了最有用的路径表达式：

表达式	描述
nodename	选取此节点的所有子节点。
/	从根节点选取。
//	从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。
.	选取当前节点。
..	选取当前节点的父节点。
@	选取属性。

实例

在下面的表格中，我们已列出了一些路径表达式以及表达式的结果：

路径表达式	结果
bookstore	选取 bookstore 元素的所有子节点。
/bookstore	选取根元素 bookstore。 注释：假如路径起始于正斜杠( / )，则此路径始终代表到某元素的绝对路径！
bookstore/book	选取属于 bookstore 的子元素的所有 book 元素。
//book	选取所有 book 子元素，而不管它们在文档中的位置。
bookstore//book	选择属于 bookstore 元素的后代的所有 book 元素，而不管它们位于 bookstore 之下的什么位置。
//@lang	选取名为 lang 的所有属性。

谓语（Predicates）

谓语用来查找某个特定的节点或者包含某个指定的值的节点。

谓语被嵌在方括号中。

实例

在下面的表格中，我们列出了带有谓语的一些路径表达式，以及表达式的结果：

路径表达式	结果
/bookstore/book[1]	选取属于 bookstore 子元素的第一个 book 元素。
/bookstore/book[last()]	选取属于 bookstore 子元素的最后一个 book 元素。
/bookstore/book[last()-1]	选取属于 bookstore 子元素的倒数第二个 book 元素。
/bookstore/book[position()<3]	选取最前面的两个属于 bookstore 元素的子元素的 book 元素。
//title[@lang]	选取所有拥有名为 lang 的属性的 title 元素。
//title[@lang='eng']	选取所有 title 元素，且这些元素拥有值为 eng 的 lang 属性。
/bookstore/book[price>35.00]	选取 bookstore 元素的所有 book 元素，且其中的 price 元素的值须大于 35.00。
/bookstore/book[price>35.00]/title	选取 bookstore 元素中的 book 元素的所有 title 元素，且其中的 price 元素的值须大于 35.00。

选取未知节点

XPath 通配符可用来选取未知的 XML 元素。

通配符	描述
*	匹配任何元素节点。
@*	匹配任何属性节点。
node()	匹配任何类型的节点。

实例

在下面的表格中，我们列出了一些路径表达式，以及这些表达式的结果：

路径表达式	结果
/bookstore/*	选取 bookstore 元素的所有子元素。
//*	选取文档中的所有元素。
//title[@*]	选取所有带有属性的 title 元素。

选取若干路径

通过在路径表达式中使用“|”运算符，您可以选取若干个路径。

实例

在下面的表格中，我们列出了一些路径表达式，以及这些表达式的结果：

路径表达式	结果
//book/title | //book/price	选取 book 元素的所有 title 和 price 元素。
//title | //price	选取文档中的所有 title 和 price 元素。
/bookstore/book/title | //price	选取属于 bookstore 元素的 book 元素的所有 title 元素，以及文档中所有的 price 元素。

 

调试页面解析的xpath

可以通过：

scrapy shell http://quotes.toscrape.com/page/1/，进行调试

>>> response.xpath('//title')

[<Selector xpath='//title' data='<title>Quotes toScrape</title>'>]

>>> response.xpath('//title/text()').extract_first()

'Quotes to Scrape'

也可以写个小脚本：

import urllib
from lxml import etree

url = 'http://www.23wx.cc/du/81/81809/'
response=urllib.urlopen(url).read()

print etree.HTML(response).xpath('//div[@id="info"]/p/text()')[0]

 

当然还有Chrome浏览器的Xpath Helper插件神器，很好用！！！同样Chrome浏览器可以通过检查查看元素，然后在element中右键Copy，Copy XPath可以获得该元素的XPath表达式，稍微修改一下可以获得同类的所有元素，强无敌！