爬虫第二弹：千图网电商淘宝模板图片下载

爬虫第二弹：千图网电商淘宝模板图片下载

  一、功能分析：
1、下载千图网电商淘宝的所有模板图片要求是高清版本；
2、并按照主页面将图片归类文件夹。
 
二、思路分析：
1、利用scrapy构建scrapy startproject qtpjt，搭建项目，并通过scrapy genspider -t basic qtspd 58pic.com构建基本的爬虫文件；
2、通过item.py构建所有数据项;
3、setting.py将爬虫协议关闭,打开 ITEM_PIPELINES 的组件
4、通过爬虫文件qtspd.py 做到提取需要录入数据库所有数据项的信息；
5、通过pipelines工具对数据项进行进一步的处理后下载图片到相应文件夹;

三、具体实现：
1、文件夹的实现：
1.1、通过在item建立 picfolder数据项，并通过在主页面 item[ "picfolder" ]=response.xpath( "//em[@class='text-green-b']/text()" ).extract()获取文件夹名称信息。
1.2、并通过以下语句构建文件夹
folder = os.path.exists(

'C: \\ Users \\ leishen \\ Documents \\ anaconda3 \\ scrapy \\ master python scrapy \\ chapter 19 \\ pic'  +  ' \\ '  + item[ "picfolder" ][ 0 ])
if not  folder:
os.mkdir( 'C: \\ Users \\ leishen \\ Documents \\ anaconda3 \\ scrapy \\ master python scrapy \\ chapter 19 \\ pic'  +  ' \\ '  + item[ "picfolder" ][ 0 ])
2、遍历的实现
2.1主页面遍历
for  i  in  range ( 2 , 3 ):
#构造出下一页图片列表页的网址
nexturl= "http://www.58pic.com/piccate/3-0-0-default-0_2_0_0_default_0-" + str (i)+ ".html"
yield  Request(nexturl,  callback = self .parse)
2.2对图片的链接的爬取：

首先通过 item[ "link" ]=response.xpath( "//a[@class='thumb-box']/@href" ).extract() 获取每个图片主题的子链接；

然后通过该链接，顺利爬取高清模板图片的链接

headers = ( "User-Agent" , "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.122 Safari/537.36 SE 2.X MetaSr 1.0" ) opener = urllib.request.build_opener()
opener.addheaders = [headers]
# 将opener安装为全局
urllib.request.install_opener(opener)
for  m  in  range ( 0 ,  len (item[ "link" ])):
     data = urllib.request.urlopen(item[ "link" ][m]).read()
     paturl =  '<img src="(http.*?)".*?show-area-pic'
     item[ "picurl" ] = re.compile(paturl).findall( str (data))
     yield  item  

3、图片的下载工作，该工作主要在pipelines.py下完成，主要利用urllib.request.urlretrieve()完成

class QtpjtPipeline( object):
    def process_item( self, item,   spider):
           for j   in  range( 0,   len(item[ "picurl"])):

                 picurl = item[ "picurl"][j]

                 trueurl=picurl

                 patlocal =   "http://pic.qiantucdn.com/58pic/.*?/.*?/.*?/(.*?).jpg"

                 picid=re.compile(patlocal).findall( str(trueurl))[ 0] +   "-" +   str(j)

                 localpath= "C:/Users/leishen/Documents/anaconda3/scrapy/master python scrapy/chapter 19/pic/" +item[ "picfolder"][ 0]+ "/"+ str(picid)+   ".jpg"

                 urllib.request.urlretrieve(trueurl,   filename=localpath)

            return item

四 、项目总结
本项目主要学习两点，1图片的下载方法，2通过python语言自动构建文件夹。