使用scrapy来抓取 ChinaPub 这个网站上的图片_并且将其下载到本地

1.首先我们使用  scrapy startproject chinapub  这个命令来创建出一个scrapy项目,创建完毕之后scrapy的目录结构如下图所示:

2.在spider目录下新建一个 chinapub.py的文件，并且编写上下面的代码.

# -*- coding: utf-8 -*-
import scrapy

from scrapy.spider import Spider
from scrapy.selector import Selector
from chinapub.items import ChinapubItem
import urllib
from urllib import request

import sys
import os

class ReadbookSpider(scrapy.Spider):
    name = "readbook"
    allowed_domains = ["http://www.china-pub.com/"]
    #start_urls = ['https://www.dushu.com/book/']
    start_urls = ['http://product.china-pub.com/cache/rank3/onlinecenter.html']



    def parse(self, response):
        selector = Selector(response)    #创建选择器

        imgs_path = sys.path[0]+"/imgs/"
        #xpath的方式来提取出页面想要内容的信息
        imgs = selector.xpath("//div[@class='tjyd']/ul/li/a/img/@file").extract()

        #for imgpath in imgs:

        for index in range(len( imgs )):

                print(imgs[index])

                response = request.urlopen(imgs[index])
                binary_data = response.read()
                temp_file = open(  imgs_path+str(index)+'.jpg','wb' )
                temp_file.write(binary_data)
                temp_file.close()

                #urllib.urlretrieve(imgpath,"F:/imgs/1.jpg")

        pass

3.在项目的根目录下新建一个 imgs 这样名字的一个文件夹如下图

4.在项目的根目录下创建一个main.py这样的文件,编写上下面的代码 
# -*- coding: utf-8 -*-
__author__ = 'bobby'

from scrapy.cmdline import execute

import sys
import os


sys.path.append(os.path.dirname(os.path.abspath(__file__)))   #获取到当前整个工程  ArticleSpider这个项目的目录路径  os.path.dirname  这个函数指的是当前这个文件路径，os.path.dirname指的是某个目录的父级别路径

execute(["scrapy","crawl","readbook"])

# #sys.path.append("F:\scrapy_project\ArticleSpider")

5.运行主程序文件
结果就把
http://product.china-pub.com/cache/rank3/onlinecenter.html   url下的所有文件全部都爬取下来了
效果如下图所示: