Scrapy爬虫框架及一个小项目

最近在学scrapy爬虫框架，刚开始入门，写了个小项目，记录一下。

  前面的不多说，直接就写一个小项目。小白入门学爬虫当然是学会爬图片，这也是最好入门的了，掌握python是前提了，能掌握基础就行。

  好的，现在就直接上项目吧！！！

  首先，是使用scrapy startproject meizitu（在命令行下）创建项目，因为我爬的是妹子图这个网站（海量美女图片啊，你肯定感兴趣的），他也比较好爬，所以项目名就叫它了。

创建项目后，就该创建自己的爬虫了。首先得进入meizitu这个文件夹下，使用scrapy genspider meizitu_spider www.meizitu.com

开始编写spider了。

# -*- coding: utf-8 -*-
import scrapy

from MeiZitu.items import MeizituItem #导入item(一个类字典的数据结构，可以按字典操作，在items.py文件下)用于保存需要提取的数据

class CrawlMeizituSpider(scrapy.Spider):

        '''

        爬虫类，执行爬取操作，生成item或再次发起请求request

        '''

    name = 'crawl_meizitu'
    # allowed_domains