NASA EARTHDATA GES DISC不用爬虫基于插件DownThemAll批量下载数据

NASA EARTHDATA GES DISC不用爬虫批量下载数据


由于NASA EARTHDATA GES DISC的数据集需要登录下载,使用爬虫下载不仅需要获取Cookie,而且保存速度很慢。
幸运的是NASA EARTHDATA GES DISC的网站提供每一个数据的下载链接。不需要用正则表达式筛选获取页面元素,直接复制链接表就能获得所有的下载链接。因此,用浏览器直接输入链接访问最简便。但是,数据量太大,DownThemAll可以解决问题。

下载插件DownThemAll

这个插件可以把一个网页上所有链接的文件下载下来
Firefox中的安装链接
Chrome浏览器的安装链接
Opera浏览器中安装链接
DownThemAll官方网站

Firefox浏览器中的DownThemAll!插件

找到数据集下载链接列表

  • 打开数据集页面,点击EarthdataSearch
    打开数据集页面,点击EarthdataSearch

  • 这个数据集就是我们要找的数据集,点击
    在这里插入图片描述

  • 根据日期地区选择数据获取的范围,点击加号选择需要的数据,点击下方绿色按钮Download。如果下载数据集中所有数据,点击Downloadall
    在这里插入图片描述

  • 点击DownloadDataList item

  • 选择Download LInks
    在这里插入图片描述

启动插件

  • 右击鼠标,选择Downloadall–Downloadall

  • 在这里插入图片描述

  • 选择所有文件,点击下载

  • 在这里插入图片描述

  • 由于页面中还有我们不需要的链接,我们可以用正则表达式在筛选器中筛选掉,或者手动删除。

  • 在这里插入图片描述

  • 2
    点赞
  • 17
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 3
    评论
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

冬_冬_

若觉得文章对您有用,请随意打赏

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值