python爬虫：使用scrapy框架抓取360超清壁纸（10W+超清壁纸等你来爬）

目的：闲着无聊，利用爬虫爬取360超清壁纸，并将其数据存储至MongoDB/MySQL中，将图片下载至指定文件夹。

要求：确保以安装MongoDB或者MySQL数据库、scrapy框架也肯定必须有的；使用python环境：python3.5；且使用的是Chrome浏览器。

1.网站抓取前期分析

首先，进行数据抓取网站的分析,这里将要抓取的网站为['http://image.so.com/'],进入首页，进入壁纸专区，美图太多别急着看……，打开chrome的开发者工具，开始进行分析。

结果可以看的出：该网站image.so.com使用的是经过Ajax技术处理，后期js渲染而后呈现出的网页，直接请求网站image.so.com后得不到任何有用的数据（见图1，图2）；所以对于Ajax请求直接将开发者工具的过滤器切换到XHR选项（XHR得到的是Ajax信息）鼠标滚动几次，就会看到这里出现了很多Ajax请求信息。如下图所示：

图一   elements上可以看到很多原始数据信息

图二  Network的z?ch=wallpaper的response内与图一信息完全不一样，即网页经过js渲染

图三    XHR上的请求列表

可以看到图三有很多的请求详情，点开zj?ch=wallpaper&sn=30&listtype=new&temp=1，进入Preview，点击list并打开任意一个list（如list1），会发现里面有过很多参数信息，如id、index、url、group_title等。

其实上面所看到的都是JSON文件，每一个list字段（应该都是30个图片），里面包含的是网页上图片的所有信息，并且发现url的规律，当sn=30的时候返回的是0-30张图，当sn=60的时候返回的是30-60张图片。此外ch=什么就代表什么（此处ch=wallpaper），其他的不用管，可有可无。

下面开始用scrapy实现图片信息的mongo或者mysql存储，并且下载相应的图片信息。

2.创建images项目，并实现程序可执行，详情见代码：

item模块

from scrapy import Item,Field

class ImagesItem(Item):
    collecti