利用URL下载json文件中包含的数据集

第一次参加kaggle竞赛，因为数据集很大，所以数据集是放在json文件中的。形式为：

 我们需要读取json文件并利用url下载数据集，代码如下:

import sys, os, multiprocessing, urllib3, csv
from PIL import Image
from io import BytesIO
from tqdm  import tqdm
import json

urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)

def ParseData(data_file):
    key_url_list = []
    j = json.load(open(data_file))
    images = j['images']
    for item in images:
        url = item['url']
        id_ = item['id'].split('.')[0]
        extention = item['id'].split('.')[-1]
        if 'train' in data_file or 'val' in data_file:
            label = item['class']
            id_= "{}_{}".format(label, id_)
        key_url_list.append((id_, url, extention))
    return key_url_list

def DownloadImage(key_url):
    out_dir = sys.argv[2]
    (key, url,extention) = key_url
    filename = os.path.join(out_dir, key+'.'+extention)

    if os.path.exists(filename):
        print('Image %s already exists. Skipping download.' % filename)
        return

    try:
        #print('Trying to get %s.' % url)
        http = urllib3.PoolManager(timeout=10.0)
        response = http.request('GET', url)
        image_data = response.data
    except:
        print('Warning: Could not download image %s from %s' % (key, url))
        return

    try:
        pil_image = Image.open(BytesIO(image_data))
    except:
        print('Warning: Failed to parse image %s %s' % (key,url))
        return

    try:
        pil_image_rgb = pil_image.convert('RGB')
    except:
        print('Warning: Failed to convert image %s to RGB' % key)
        return

    try:
        pil_image_rgb.save(filename, format='JPEG', quality=90)
    except:
        print('Warning: Failed to save image %s' % filename)
        return


def Run():
    
    if len(sys.argv) != 3:
        print('Syntax: %s <train|val|test.json.json> <output_dir/>' % sys.argv[0])
        
        sys.exit(1)  
        """
         exit(0)：无错误退出
         exit(1)：有错误退出
         """

    data_file, out_dir = sys.argv[1:]
    

    if not os.path.exists(out_dir):
        os.mkdir(out_dir)

    key_url_list = ParseData(data_file)
    print("222")
    pool = multiprocessing.Pool(processes=12)

    with tqdm(total=len(key_url_list)) as t:
         for _ in pool.imap_unordered(DownloadImage, key_url_list):
            t.update(1)


if __name__ == '__main__':
    Run()

运行时需要在终端传入参数，这里需要说明一下关于Python中 sys.argv[]的解释：

 sys.argv[]是一个从程序外部获取参数的桥梁，这个“外部”很关键，所以那些试图从代码来说明它作用的解释一直没看明白。因为我们从外部取得的参数可以是多个，所以获得的是一个列表（list)，也就是说sys.argv其实可以看作是一个列表，所以才能用[]提取其中的元素。其第一个元素是程序本身，随后才依次是外部给予的参数。

下面我们通过一个极简单的test.py程序的运行结果来说明它的用法。

#test.py

import sys
a=sys.argv[0]
print(a)

将test.py保存在c盘的根目录下。
在程序中找到 ‘运行’->点击->输入"cmd"->回车键   进入控制台命令窗口（如下图），先输入cd c:\   (作用是将命令路径改到c盘根目录)，然后输入test.py运行我们刚刚写的程序：

 

得到的结果是C:\test.py，这就是0指代码（即此.py程序）本身的意思。

然后我们将代码中0改为1 :

a=sys.argv[1]

保存后，再从控制台窗口运行，这次我们加上一个参数，输入：test.py what

 

 得到的结果就是我们输入的参数what，看到这里你是不是开始明白了呢。

那我们再把代码修改一下：

a=sys.argv[2：]

保存后，再从控制台窗台运行程序，这次多加几个参数，以空格隔开:

test.py a b c d e f

 

得到的结果为[‘b’, ’c’, ’d’, ’e’, ’f’]

Sys.argv[ ]其实是一个列表，里边的项为用户输入的参数，关键就是要明白这参数是从程序外部输入的，而非代码本身的什么地方，要想看到它的效果就应该将程序保存了，从外部来运行程序并给出参数。

所以该程序需要在终端传入三个参数，分别为程序文件本身，第二个为需要下载的json文件，第三是下载后保存的地址