Scrapy爬虫框架入门

1、强烈推荐的Scrapy框架教程：http://blog.csdn.net/column/details/younghz-scrapy.html

2、框架说明：

2.1：

                                      

整理框架中，初学者只需要参与的就是Spiders和item Pipeline模块

各模块的作用：

Spider 模块：解析网页和发送url请求。

Item模块：定义保存数据的格式，以字典存储，可以定义N个字段

Pipeline模块：定义解析后的数据写到文件中

下面具体例子进行说明：

代码是借用博客：      http://blog.csdn.net/u012150179/article/details/34486677

Spider模块中，我们必须要解析数据，和发送新的URL请求，当然，新的URL也是解析网页得到的。

#!/usr/bin/python
# -*- coding:utf-8 -*-

# from scrapy.contrib.spiders import  CrawlSpider,Rule

from scrapy.spider import Spider
from scrapy.http import Request
from scrapy.selector import Selector
from CSDNBlog.items import CsdnblogItem


class CSDNBlogSpider(Spider):
    """爬虫CSDNBlogSpider"""

    name = "CSDNBlog"

    #减慢爬取速度 为1s
    download_delay = 1
    allowed_domains = ["blog.csdn.net"]
    start_urls = [

        #第一篇文章地址
        "http://blog.csdn.net/u012150179/article/details/11749017"
    ]

    def parse(self, response):
        sel = Selector(response)

        #items = []
        #获得文章url和标题
        item = CsdnblogItem()

        article_url = str(response.url)
        article_name = sel.xpath('//div[@id="article_details"]/div/h1/span/a/text()').extract()

        item['article_name'] = [n.encode('utf-8') for n in article_name]
        item['article_url'] = article_url.encode('utf-8')

        yield item

        #获得下一篇文章的url
        urls = sel.xpath('//li[@class="next_article"]/a/@href').extract()
        for url in urls:
            print url
            url = "http://blog.csdn.net" + url
            print url
           yield Request(url, callback=self.parse)

函数

def parse(self, response)

          1、response就是整个scrapy框架中，控制中心将请求发送给下载器，下载器下载了整个网页后，由控制中心将结果（Response）回送给spider解析,(spider解析网页的功能就在这里体现)。当然，在Response这个结果中，可以解析出我们需要再访问的url，然后继续发送URL请求，可以通过Request请求完成。

  2、在parse中，我们只要解析出我们需要的数据，然后yield item ,就可以得到我们的数据，至于数据格式就看你们item的定义，数据存成哪种编码，哪个文件，就看pipeline。

  3、然后把response中包含你想继续访问的URL解析出来，发送请求，至于调度器如何调度，下载器下载，调度器再把结果返回等一系列过程，就无需我们干预，这就是框架的作用，我们只要填函数就可以了。

iitem :定义每条记录的字段

# -*- coding:utf-8 -*-

from scrapy.item import Item, Field

class CsdnblogItem(Item):
    """存储提取信息数据结构"""
    article_name = Field()
    article_url = Field()

pipeline:定义结果存在哪里，存成哪种编码

import json
import codecs

class CsdnblogPipeline(object):

    def __init__(self):
        self.file = codecs.open('CSDNBlog_data.json', mode='wb', encoding='utf-8')

    def process_item(self, item, spider):
        line = json.dumps(dict(item)) + '\n'
        self.file.write(line.decode("unicode_escape"))

        return item