爬取淘宝高清图片

老婆总是为每天搭配什么衣服烦恼，每天早上对穿什么衣服是各种纠结，我就在想，何不看一下淘宝上的模特都是怎么穿的呢，正好在学python scrapy 爬虫。何不把淘宝上的高清图爬下来呢。
环境配置：python3+scrapy 

一　写 spider下ｔｂ．ｐｙ

　　１，写start_requests函数

1     def start_requests(self):
2         return [scrapy.Request(url="https://www.taobao.com/",  callback=self

    def start_requests(self):
        return [scrapy.Request(url="https://www.taobao.com/",  callback=self.start_search)]

从淘宝首页开始，这里我没有写headers是因为我会在middlewares中写随机更换UA和IP的middlewares.py，回调函数是start_search，这一步比较简单

　　２、下一步：start_search函数，这一步会让我选择爬取的关键字，然后进入淘宝的搜索列表页面，

    def start_search(self,response):
        keyword = input("please input what do you what to seach ?").strip()
        keyword = urllib.request.quote(keyword)
        for i in range(1,2): # 这里可以优化，可以写一个自动判断是否还有下一页的函数
            url = "https://s.taobao.com/search?q=" + keyword + "&s=" + str(i * 44)
            yield scrapy.Request(url=url,callback=self.parse_search_page)
            time.sleep(20)

这一步就遇到困难了，因难一，淘宝会不定时跳转到登录页面。我尝试了很多方法都没有完成淘宝的登录，这个后续要继续学习，困难二，淘宝的网页大部分是非常动太加载，得到的response 中根本根本不能用xpath和css做选择，不过可以用到正则，

下面是淘宝部分网页

<link rel="dns-prefetch" href="//res.mmstat.com" />
<link href="//img.alicdn.com/tps/i3/T1OjaVFl4dXXa.JOZB-114-114.png" rel="apple-touch-icon-precomposed" />
<style>
  blockquote,body,button,dd,dl,dt,fieldset,form,h1,h2,h3,h4,h5,h6,hr,input,legend,li,ol,p,pre,td,textarea,th,ul{margin:0;padding:0}body,button,

全是动态加载，不过这样也好，直接用正刚提取，我发现详情页面是用uid 来标示的，所以我直接以正则表达式提取Uｉｄ

淘宝原页面代码如下：

 

　　从上图可以看出taobao把这一页的商品的Nid都放在一个列表中，这就好办了啊，用uids = re.compile('auctionNids\"\:\[\"(.*?)\"\]').findall(html)[0].split(",")这个正则把所有的列表取出来，然后拼接商品详情页面

for uid in uids 
　　detailUrl = "https://detail.tmall.com/item.htm?id=" + uid

　　在这里就出错了，部是返回500的错误，排查了好久，终于发现，淘宝详情页面分两种，一种是淘宝，一种是天猫，他俩的详情页面是不相同的，这就必须要到源码去找了

下面是部分源码：

从源码去可以看到，这里面  isTmall  就是指是淘宝还是天猫，当然可以用正则表达式把这个字段提取出来，但是这个提取出来后，怎么会和前面提取的Nid 一一对应呢，不一一对应也是会出错的，而且源码中没有isTmall 这样一个列表，所以只能重新把新的方法，不能由上方的那个列表来获取Nid，通过几次的试验，下面这个正刚可以取出来，

uids_and_isTmail = re.compile(r'"nid":"(.*?)".*?"isTmall":(.*?),').findall(html)

这个正则可以取出nid号，还可以取出isTmall的值，这样就可以把详情页面的url拼接起来

uids_and_isTmail = re.compile(r'"nid":"(.*?)".*?"isTmall":(.*?),').findall(html)
            for uid_and_isTmail in uids_and_isTmail:
                if uid_and_isTmail[1] == "true":
                    detailUrl = "https://detail.tmall.com/item.htm?id=" + str(uid_and_isTmail[0])
                else:
                    detailUrl = "https://item.taobao.com/item.htm?id=" + str(uid_and_isTmail[0])

　　这样把详情页面的代码拼接好后，加上异常处理，就可以让下一个函数来处理这些详情页面

　　　　parse_search_page函数代码如下：

    def parse_search_page(self, response):
        """处理搜索页面"""
        html = response.body.decode("utf8", "ignore")
        try:
            # 查找uid 和是否属于天猫，因为淘宝和天猫的详情页面不一样，得到是一个tupe
            uids_and_isTmail = re.compile(r'"nid":"(.*?)".*?"isTmall":(.*?),').findall(html)
            for uid_and_isTmail in uids_and_isTmail:
                if uid_and_isTmail[1] == "true":
                    detailUrl = "https://detail.tmall.com/item.htm?id=" + str(uid_and_isTmail[0])
                else:
                    detailUrl = "https://item.taobao.com/item.htm?id=" + str(uid_and_isTmail[0])
                yield scrapy.Request(detailUrl, callback=self.parsePictureUrl)
                time.sleep(10)#友好的爬虫
        except Exception as e:
            print(e)

接下就要编写详情页面返回的数据的函数：

我想要的是高清大图，也就是淘宝中商品详情的图片，通过查源码发现，这些图片也是动态加载的，源码中根本找不到这些高清大图的url，经过抓包分析后，发现加载动态高清图的网页存在源码中，

这里descUrl就是高清大图的url，提取到这一步就简单了，直接用re 提取就行了，pictureUrl = re.compile('descUrl.*?:.*?//(.*?)\'').findall(html)[0]

　　结里这里去访问时又出错了，在浏览器里打开网页能打开，scrapy 就是会报500的错，排查了好久发现，浏览器会自动加一个http://,加的这个http://不会在地址栏中显示，但是实际请求的网页会加上这个，所以又要拼接Url，代码如下：

 

    def parsePictureUrl(self, response):
        """通过详情页面得到存放高清图片的网址"""
        html = response.body.decode("utf8", "ignore")
        try:
            pictureUrl = re.compile('descUrl.*?:.*?//(.*?)\'').findall(html)[0]
            #必须加http才能访问
            pictureUrl = "http://" + pictureUrl
            yield scrapy.Request(pictureUrl, callback=self.parsePicture)
        except Exception as e:
            print(e)

 

这个函数返回一个的数据，里面就有各个高清图的详细下载网址，源码截图

 

img src 里面就是存放的各个图片的下载网址，这里可以用xpath 或css进行提取，我这里还是用的正则进行提取：

 

    def parsePicture(self, response):
        """打开存放高清图片的网址后得到是一个json文件，里面有各个高清图片的详细网址，得到这些详细网址，然后交由scrapy下载"""
        item = TbItem()
        html = response.body.decode("utf8","ignore")
        try:
            downPictureUrlList = re.compile('src=.*?\"(.*?)\"').findall(html)
            for downPictureUrl in downPictureUrlList:
                item["img"] = [downPictureUrl]
                yield item
        except:
            print("can not find down page")

 

 

 

到此spider 的代码写完了，淘宝的高清图片隐藏很深，需要进行三层才能到真正的下载地址，这里面也有很多坑，接下来就是Item.py的代码

item.py 很简单，我暂时只保存图片，就只有一个字段，之后可以添加

 

class TbItem(scrapy.Item):
    img=scrapy.Field()

 

二　、接下来是settings 中代码

  1，设置自动下载的字段和保存的位置，

import os
img_dir=os.path.join(os.path.abspath(os.path.dirname(__file__)),"images")
print(img_dir)
IMAGES_URLS_FIELD='img'
IMAGES_STORE=img_dir

2，加下自动下载图片的类

ITEM_PIPELINES = {
   # 'taobao.pipelines.TaobaoPipeline': 300,
    'scrapy.pipelines.images.ImagesPipeline':1
}

3，ROBOTSTXT_OBEY = False

# Obey robots.txt rules
ROBOTSTXT_OBEY = False

 

4，设置随机更换UA和IP的类

DOWNLOADER_MIDDLEWARES = {
   'taobao.middlewares.RandomIpAndUserAgentMiddleware': 543,
   'taobao.middlewares.TaobaoSpiderMiddleware': None,
}

5,因为是scrapy 自动下载图片，所以不用自已写pipelines,但是要加上scrapy 的自动下载类

ITEM_PIPELINES = {
   # 'taobao.pipelines.TaobaoPipeline': 300,
    'scrapy.pipelines.images.ImagesPipeline':1
}

到此settings设置完成，

在middleware中设置随机更换UA和IP的类会在另外一篇博客中写到，这里不赘述。

三　、到些整个爬虫代码完结，下面把整个spider.py附上，方便查看：

 1 # -*- coding: utf-8 -*-
 2 import scrapy
 3 import re
 4 import time
 5 import urllib.request
 6 from taobao.items import TbItem
 7 
 8 
 9 class TbSpider(scrapy.Spider):
10     name = 'tb'
11     allowed_domains = ['tabao.com', "detail.tmall.com", "s.taobao.com", "item.taobao.com", "dsc.taobaocdn.com",
12                        "img.alicdn.com"]
13     start_urls = ['https://www.taobao.com/']
14 
15 
16     def start_requests(self):
17         return [scrapy.Request(url="https://www.taobao.com/",  callback=self.start_search)]
18 
19 
20     def start_search(self,response):
21         keyword = input("please input what do you what to seach ?").strip()
22         keyword = urllib.request.quote(keyword)
23         for i in range(1,2): # 这里可以优化，可以写一个自动判断是否还有下一页的函数
24             url = "https://s.taobao.com/search?q=" + keyword + "&s=" + str(i * 44)
25             yield scrapy.Request(url=url,callback=self.parse_search_page)
26             time.sleep(20)
27 
28     def parse_search_page(self, response):
29         """处理搜索页面"""
30         html = response.body.decode("utf8", "ignore")
31         try:
32             # 查找uid 和是否属于天猫，因为淘宝和天猫的详情页面不一样，得到是一个tupe
33             uids_and_isTmail = re.compile(r'"nid":"(.*?)".*?"isTmall":(.*?),').findall(html)
34             for uid_and_isTmail in uids_and_isTmail:
35                 if uid_and_isTmail[1] == "true":
36                     detailUrl = "https://detail.tmall.com/item.htm?id=" + str(uid_and_isTmail[0])
37                 else:
38                     detailUrl = "https://item.taobao.com/item.htm?id=" + str(uid_and_isTmail[0])
39                 yield scrapy.Request(detailUrl, callback=self.parsePictureUrl)
40                 time.sleep(10)
41         except Exception as e:
42             print(e)
43 
44     def parsePictureUrl(self, response):
45         """通过详情页面得到存放高清图片的网址"""
46         html = response.body.decode("utf8", "ignore")
47         try:
48             pictureUrl = re.compile('descUrl.*?:.*?//(.*?)\'').findall(html)[0]
49             #必须加http才能访问
50             pictureUrl = "http://" + pictureUrl
51             yield scrapy.Request(pictureUrl, callback=self.parsePicture)
52         except Exception as e:
53             print(e)
54 
55     def parsePicture(self, response):
56         """打开存放高清图片的网址后得到是一个json文件，里面有各个高清图片的详细网址，得到这些详细网址，然后交由scrapy下载"""
57         item = TbItem()
58         html = response.body.decode("utf8","ignore")
59         try:
60             downPictureUrlList = re.compile('src=.*?\"(.*?)\"').findall(html)
61             for downPictureUrl in downPictureUrlList:
62                 item["img"] = [downPictureUrl]
63                 yield item
64         except:
65             print("can not find down page")

四、下面对这次代码做总结：

学到的知识：

一，对整个basic spider的详细处理流程有了个清楚的认识。明白了ｓｃｒａｐｙ　各函数的数据流程，

二，学会看网页源代码，淘宝网页都是动态加载，要想得到你要的东西得经过好几层的挖掘，但是总会有规律。

三，学会用异常处理。异常处理太重要了，他让程序不致于因一个ｕｒｌ出错而停止。

四，ｓｃｒａｐｙ的调试，做爬虫时，会调试真的很重要。

还需要学习的知识：

一，ｓｃｒａｐｙ　日志系统，怎么记录ｓｃｒａｐｙ　的日志，

二，学会模拟登录，我上次模拟登录知乎都没有出错，这次出错，不知道是什么原因，

三，学会数据库处理，但学习入ｍｙｓｑｌ　再学习入ｍｏｎｇｏｄｂ

 

程序的不足

一、只是把图年保存到本地，后期会加入到保存到数据库的代码
二、目前只是测试了服装类，其他类未测试 
三、目前只是能保存图片，如果在浏览图片时看到某个图片所展示的衣服很好看，不能根据该图片追踪到淘宝店铺，不能筛选同类型的图片


最后附上ｇｉｔｈｕｂ　：https://github.com/573320328/taobao

 

转载于:https://www.cnblogs.com/liuqianli/p/8325240.html