初识scrapy框架，美空图片爬虫实战

      这俩天研究了下scrapy爬虫框架，遂准备写个爬虫练练手。平时做的较多的事情是浏览图片，对，没错，就是那种艺术照，我骄傲的认为，多看美照一定能提高审美，并且成为一个优雅的程序员。O(∩_∩)O~ 开个玩笑，那么废话不多说，切入正题吧，写一个图片爬虫。

       设计思路：爬取目标为美空网模特照片，利用CrawlSpider提取每张照片的url地址，并将提取的图片url写入一个静态html文本作为存储，打开即可查看图片。 我的环境是win8.1, python2.7+Scrapy 0.24.4,如何配环境我就不说了，大家自行百度一下。

       参照官方文档，我总结了建立爬虫程序大致有四个步骤：

• 创建一个scrapy project
• 定义需要从网页中提取的元素item
• 实现一个spider类，通过接口完成爬取url和提取item的功能
• 实现一个item pipeline类，完成Item的存储功能。

        接下来就很简单了，参照着步骤一步步做就好，首先在终端里面建立一个项目，项目名咱就命名为moko吧。输入指令scrapy startproject moko, scrapy会在当前目录创建一个moko的文件目录，里面有一些初使的文件，文件用处大伙感兴趣查下文档，我主要介绍我们这次用到的文件。

• 定义Item  在items.py里面定义我们要抓取的数据：
• # -*- coding: utf-8 -*-
  
  # Define here the models for your scraped items
  #
  # See documentation in:
  # http://doc.scrapy.org/en/latest/topics/items.html
  
  import scrapy
  
  
  class MokoItem(scrapy.Item):
      # define the fields for your item h