批量下载modis数据（下）

关键词：modis，selenium，Python，批量下载

上文中讲到如何通过Python获得所需modis影像的下载链接，本文中将讲述如何通过Python根据下载链接进行下载。

首先需要准备的是chrome浏览器和与之对应版本的chromedriver.exe，通过selenium库进行下载。

利用selenium控制chromedriver打开chrome，使用get方法访问NASA个人界面，获得账号密码元素并输入账号密码，获得登录按钮并自动点击，页面跳转，访问成功。

s = Service(r'chromedriver的目录')
wd = webdriver.Chrome(service=s)
wd.get('https://urs.earthdata.nasa.gov/home')                # 访问NASA个人界面
wd.find_element(By.ID, 'username').send_keys('我的账号')      # 账号
wd.find_element(By.ID, 'password').send_keys('我的密码')      # 密码
wd.find_element(By.CSS_SELECTOR, '[value="Log in"]').click()

下一步读取下载链接txt，将txt内的所有链接存放到一个列表，便于遍历。

with open(link_path, 'r') as f:
    links = [i.replace('\n', '') for i in f.readlines()]

遍历列表，依次访问下载链接，便可下载至临时目录。

for url in links:
    js = "window.open('" + url + "');"  # 访问下载界面
    wd.execute_script(js)

这样就能自动下载了。

然后再增加亿点点细节。

比如：可以设置灵活等待时间为120秒。

wd.implicitly_wait(120)

为了避免下载的文件错误，先将文件下载至临时目录，增加检查步骤。

可以借助osgeo下的gdal库来检查下载的hdf文件是否完整，用gdal打开hdf文件，依次打开内部的数据集，并将数据转为数组，如果这个过程中没有报错，说明该文件完整可用，再将文件转移到目标目录中。

def check_hdf(path):
    hdf = gdal.Open(path)
    sds = hdf.GetSubDatasets()
    for i in sds:
        ds = gdal.Open(i[0])
        arr = ds.ReadAsArray()

有时候目标文件夹中已经下载好了一部分文件，就不需要重复下载，可以增加一步判断，减少时间浪费。将目标文件夹中已经下载好的文件记录在列表havedone中，如果访问下载链接下载的文件在havedone中，则不需要下载。

file_folder = os.path.join(out_folder, product, tile)
if not os.path.exists(file_folder):
    os.makedirs(file_folder)
havedone = os.listdir(file_folder)
if url.split('/')[-1] in havedone:
    print(url, '已下载')
    continue

也有可能在下载前临时文件夹中也存在一部分下载好的文件，可以检查这些文件是否完整，若完整则剪切至目标目录中，并将其追加在havedone列表中。

此外，需要灵活设置下载链接间的缓冲时间，不能访问第一个下载链接后又立刻访问下一个链接，不然电脑直接死给你看……

可以在访问下载链接后，设置一个等待时间为wait_time秒，可以根据hdf文件的大小进行调整，时间设置得越短，浏览器访问得越频繁（如果网络不好，可能会出现全部访问失败的情况……），时间设置得越长，越有可能产生时间上的浪费，效率变低。

由于第一次访问需要登录验证，时间会稍长，可以将这个时间设置长一些（20 - 40秒）。

wait_time = 10
if len(wd.window_handles) == 2:
    time.sleep(20)
else:
    time.sleep(wait_time)

同理，也可以通过限制浏览器标签数来限制同一时间访问的链接数，这么做也是为了避免访问太多浏览器挂掉，因为访问链接并不是一瞬间就完成的，即使设置了等待时间，也并不代表这次访问在设定的时间内一定能完成，这就可能出现浏览器的标签越来越多，产生意料之外的后果。我们可以设置浏览器标签数目阈值，在访问链接前，先读取当前标签数，判断是否大于该阈值，如果是，则再等待wait_time秒，如果否的话，则直接进行访问。

更完善一点，可以设置一个最大等待时间thr_quit秒，这个值可以设置得大一些，如果超过标签数目阈值的状态持续时间超过最大等待时间，说明很有可能所有的访问全部失效了，再等下去也没有意义，可以将临时目录中的文件检查后移动至目标目录，然后关闭浏览器，重新再开一个进行下载。

thr = 6
thr_quit = 160
flag = True
btime = time.time()
while len(wd.window_handles) >= thr:
    if time.time() - btime > thr_quit:
        flag = False
        wd.quit()
        break
    else:
        havedone = moving(havedone)
        time.sleep(wait_time)
if flag:
    js = "window.open('" + url + "');"  # 访问下载界面
    wd.execute_script(js)
    if len(wd.window_handles) == 2:
        time.sleep(20)
    else:
        time.sleep(wait_time)

以上就是全部的modis影像下载步骤，需要本篇完整代码的看官移步公众号回复关键字'modis'便可获得。

公众号：小猪被骑的日常