python调用IDM多线程下载葵花八号卫星NC格式数据

背景

在需要使用葵花八号卫星的数据的时候，通过之前的查找资料发现大部分是使用FileZilla等软件下载，由于使用ftp协议传输数据，下载一个数据需要很长的时间，为了缩短时间，结合前人的方法，写出来python调用IDM多任务同时下载数据的脚本

使用前提

1.下载好IDM软件
2.在葵花八号卫星网站已经注册好账号

使用方法

计划好要下载的文件

我选用的是葵花八号全圆盘、分辨率为2km的数据

文件地址：/jma/netcdf/202201

设置下载地址

import calendar
from subprocess import call

if __name__ == '__main__':
    # 数据信息字典
    dic = {
        'format': 'netcdf',  # 数据格式
        'year': '',  # 年，设为空
        'month': '',  # 月，设为空
        'day': [],  # 日，设为空
        ]
    }
    # 账号名和密码，换成自己的
    username=""
    password=""

    # 设置为2022年
    y=2022
    for m in range(1, 2):  # 遍历月  此处只有一月
        day_num = calendar.monthrange(y, m)[1]  # 根据年月，获取当月日数
        # 将年、月、日更新至字典中
        dic['year'] = str(y)
        dic['month'] = str(m).zfill(2)
        dic['day'] = [str(d).zfill(2) for d in range(1, day_num + 1)]
        # for d in dic['day']:
        # d是day，这里是指第4天，可以改成循环
        d=4
        # 获取文件下载地址 
        # 将账号密码拼接到下载地址中，这样可以直接在IDM下载，不需要再次验证
        # 文件地址
        url = "ftp://"+username+":"+password+"@ftp.ptree.jaxa.jp/jma/netcdf/" + str(y) + str(m).zfill(2) + '/' + str(d).zfill(
                2) + '/'
        # 存放文件夹
        path = 'D:\Himawari8Data\\'+str(y) + str(m).zfill(2)+'\\' + str(d).zfill(
                2) + '\\'
        # 示例文件名称 file='NC_H08_20220101_0000_R21_FLDK.06001_06001.nc'
        #参照以上文件名称拼接
        for i in range (0,6):
                # min 为下载时间段，此处为700-1200，共5张
                min=700+100*i
                # 我选用的是全圆盘
                filename = 'NC_H08_' + str(y) + str(m).zfill(2) +str(d).zfill(2)+ '_' + str(min).zfill(4) + '_R21_FLDK.06001_06001.nc'  # 文件名
                idmDownloader(url+filename, path, filename)  # 添加进IDM中下载
                print(url+filename + "----save")

调用IDM的exe文件

def idmDownloader(task_url, folder_path, file_name):
    """
    IDM下载器
    :param task_url: 下载任务地址
    :param folder_path: 存放文件夹
    :param file_name: 文件名
    :return:
    """
    # IDM安装目录,换成自己的安装目录
    idm_engine = r"C:\Program Files (x86)\Internet Download Manager\IDMan.exe"
    # 将任务添加至队列
    call([idm_engine, '/d', task_url, '/p', folder_path, '/f', file_name, '/a'])
    # 开始任务队列
    call([idm_engine, '/s'])

手动开启下载

调用以上脚本会自动将下载任务添加至IDM中，需要手动在IDM中选中文件点继续，开启任务。

参考文章链接 http://t.csdn.cn/W3f6b