爬虫爬取emoji图片数据

由于在网页内实时读取git服务器数据太慢，所以想把图片下载下来。我们需要采用request爬数据，开始写了几个程序，不好用，容易死机，发现是没有超时机制导致。后来发现个别数据有问题，导致404例外出现，再增加了例外处理，终于可以把将近两千个图标读到本地。
要下载git_emojis.json,请搜索本人上传的文件。

import urllib.request
import json,random,socket

def openurl(url,name):
    socket.setdefaulttimeout(10)
    try:
        urllib.request.urlretrieve(url, name)

    # 如果超时
    except socket.timeout:
        count = 1
        while count <= 5:
            try:
                urllib.request.urlretrieve(url, name)
                break
            except socket.timeout:
                err_info = 'Reloading for %d time' % count if count == 1 else 'Reloading for %d times' % count
                print(err_info)
                count += 1
        if count > 5:
            print("download job failed!")


opener=urllib.request.build_opener()
opener.addheaders=[('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1941.0 Safari/537.36')]
urllib.request.install_opener(opener)
f=open("git_emojis.json", "r", encoding='utf-8')
data2 = json.loads(f.read())
j=0

while True:
    aa=data2.popitem()

    try:
        openurl(aa[1]+"?temp="+str(random.random()),"img/"+aa[0]+".png")
        j=j+1
        print(str(j) + ':', aa[1],aa[0])
    except Exception as e:
        print(str(e))

图片很漂亮😄