NASA EARTHDATA GES DISC不用爬虫基于插件DownThemAll批量下载数据

最新推荐文章于 2025-03-29 09:19:21 发布
置顶 最新推荐文章于 2025-03-29 09:19:21 发布
阅读量2.7k 收藏 20
点赞数 3
分类专栏： 笔记 文章标签： 爬虫 chrome 大数据 gis download
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46629224/article/details/113350939
版权
本文介绍如何利用DownThemAll插件在NASAEARTHDATAGESDISC网站上批量下载地球观测数据，避免了复杂的爬虫操作，通过直接获取下载链接并一键下载所有数据。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

NASA EARTHDATA GES DISC不用爬虫批量下载数据


由于NASA EARTHDATA GES DISC的数据集需要登录下载，使用爬虫下载不仅需要获取Cookie，而且保存速度很慢。
幸运的是NASA EARTHDATA GES DISC的网站提供每一个数据的下载链接。不需要用正则表达式筛选获取页面元素，直接复制链接表就能获得所有的下载链接。因此，用浏览器直接输入链接访问最简便。但是，数据量太大，DownThemAll可以解决问题。

下载插件DownThemAll

这个插件可以把一个网页上所有链接的文件下载下来
Firefox中的安装链接
Chrome浏览器的安装链接
Opera浏览器中安装链接
DownThemAll官方网站

Firefox浏览器中的DownThemAll!插件

找到数据集下载链接列表

  • 打开数据集页面，点击EarthdataSearch
    打开数据集页面，点击EarthdataSearch

  • 这个数据集就是我们要找的数据集，点击
    在这里插入图片描述

  • 根据日期地区选择数据获取的范围，点击加号选择需要的数据，点击下方绿色按钮Download。如果下载数据集中所有数据，点击Downloadall
    在这里插入图片描述

  • 点击DownloadDataList item

  • 选择Download LInks
    在这里插入图片描述

启动插件

  • 右击鼠标，选择Downloadall–Downloadall

  • 在这里插入图片描述

  • 选择所有文件，点击下载

  • 在这里插入图片描述

  • 由于页面中还有我们不需要的链接，我们可以用正则表达式在筛选器中筛选掉，或者手动删除。

  • 在这里插入图片描述

基于学术研究于NASA官网GPM卫星数据下载详细教程
珞瑜的博客
12-16 8057
基于学术研究于NASA官网GPM卫星数据下载详细教程
【数据下载】使用DownThemAll批量下载网站文件
WW、forever的博客
10-21 5231
使用DownThemAll扩展程序
Earthdata Search：高效探索NASA地球科学数据
最新发布
gitblog_00650的博客
03-29 880
Earthdata Search：高效探索NASA地球科学数据 earthdata-search Earthdata Search is a web application developed by NASA EOSDIS to enable data discovery, search, comparison, vis...
firefox的批量下载插件downthemall
weixin_34342905的博客
04-09 986
2019独角兽企业重金招聘Python工程师标准>>> ...
DownThemAll！数据批量下载插件
热门推荐
m0_63273208的博客
11-06 1万+
网页数据下载插件DownThemAll！的安装与使用
利用DownThemAll批量下载指定后缀数据（不用python）
yugggj的博客
08-05 385
打开火狐浏览器下的DownThemAll插件，筛选出*.h5,进行批量下载。，上下载了SMAP土壤水分数据。
快速批量下载文件的插件——DownThemAll
weixin_46080995的博客
09-29 1821
直接下载，然后添加插件可用于数据网站，批量下载当前页面的所有某种格式的文件（解放双手、摆脱复杂的下载流程）
python 批量下载 GPM 数据
小小学渣的博客
05-21 3343
前期准备： 我是从 GES DISC 下载GPM数据，首先是注册账号，这个就不用说了。然后，注意按说明获取授权，这个教程很详细啦，不再过多介绍。 下载过程： 1. 手动下载 list of links。选择你要下载的数据时间范围、区域、等等，然后下载包含所有下载连接的 txt 文件。 2. 在用户目录(windows，linux为根目录~)创建 .netrc 文件, 内容就是自己的账号和密码 .netrc 文件的内容： machine urs.earthdata.nasa.g..
你好，请问下载ges disc里面数据的时候，使用wget批量下载，显示我unable ssl怎么解决啊
10-12
当你使用`wget`命令从HTTPS链接批量下载数据时遇到"SSL"错误，通常是因为wget无法验证服务器的SSL证书，或者你的系统缺少必要的SSL库支持。以下是几种解决方法： 1. **忽略SSL证书**: 对于临时性的不安全连接，...
【Python实例】批量下载网页数据
WW、forever的博客
11-15 585
【Python实例】批量下载网页数据
NASA遥感数据批量下载程序
symoriaty的博客
01-09 7683
近日需要下载NASA的多时期OMI遥感数据，手动下载实在太慢，没想到NASA提供了批量下载程序WGET https://disc.gsfc.nasa.gov/data-access#windows_wget 下载WGET软件后，按照官网上的示例教程填写命令即可。 以windows为例， wget for Windows Make sure you have setup your Eart...
wget批量下载Earthdata TRMM 遥感数据详细方法
08-25
Earthdata网站的TRMM数据wget工具下载详细方法，可以批量下载几万条数据，十分方便。
earthdata-search:Earthdata Search是由NASA EOSDIS开发的Web应用程序，用于跨EOSDIS的Earth Science数据馆藏进行数据发现，搜索，比较，可视化和访问
04-28
关于 Earthdata Search是由 开发的Web应用程序，用于在EOSDIS的Earth Science数据库中进行数据发现，搜索，比较，可视化和访问。 它以EOSDIS提供的面向公众的服务为基础，包括用于数据发现和访问的用于可视化的EOSDIS身份验证，用于可视化的 ，以及许多数据提供商托管的OPeNDAP服务。 执照 版权所有:copyright:2007-2019美国政府，由国家航空和航天局局长管理。 版权所有。 根据Apache许可证2.0版（“许可证”）获得许可； 除非遵守许可，否则您不得使用此文件。 您可以在以下位置获得许可证的副本： 除非适用法律要求或以书面形式同意，否则根据“许可”分发的软件将按“原样”分发，没有任何形式的明示或暗示担保或条件。 有关许可下特定的语言管理权限和限制，请参阅许可。 应用程序安装和使用 Earthdata Search应用程序使用Node v12.16.
Download All Downloads-crx插件
03-10
允许您在当前页面上下载所有下载。 允许您在当前页面上下载所有下载。 支持语言:English
downthemall for 3.6-12.*
03-20
DownThemAll (or just dTa) is a powerful yet easy-to-use Mozilla Firefox extension that adds new advanced download capabilities to your browser. DownThemAll lets you download all the links or images contained in a webpage and much more: you can refine your downloads by fully customizable criteria to get only what you really want. DownThemAll is all you can desire from a download manager: it features an advanced accelerator that increases speed up to 400%, it allows you to pause and resume downloads at any time and, last but not least, it's fully integrated into your favorite browser!
下载所有图像「Download all Images」-crx插件
03-16
一个可自定义的扩展名，用于保存当前标签页中的选定图像 下载所有图像这是一个高度可定制的图像保护程序扩展程序，使您可以浏览和下载任何网页上显示的所有图像。 功能：1.可以检测当前页面中加载的所有图像，而不管它们是否嵌套在iframe中。2.许多过滤规则仅查找和下载所需的扩展名。3.可以捕获链接，后台脚本和CSS文件中的图像4。下载图像之前，先在图库视图中显示它们。5.支持两级深度图像搜索过滤器：1.按文件大小过滤2.按图像尺寸过滤3.按图像类型过滤4.按图像URL（正则表达式匹配）过滤5.按相同的来源策略过滤有关常见问题解答，请访问：http://add0n.com/save-images.html有关错误报告，请使用：https://github.com/belaviyo/save-images/issues注意：当您按时单击“保存”按钮，所有选择的图像均保存到浏览器的默认下载目录，或者如果指定子文件夹名称，则保存到浏览器中的目录。 更改日志：版本0.1.1现在，该扩展名将图像存储在子文件夹中（默认的子文件夹名称为域名）。修复了一个安全漏洞。 版本0.2.0图像现在保存在zip存档中，以防止多次下载，并且文件命名更好。改进了图像检测算法。 0.2.1版现在可以保留用户首选项。 仍然可以从UI重置它们。现在可以从UI要求“保存对话框”。有一个进度指示要处理多少个图像，当下载所有图像时，UI会自行关闭。 版本0.2.2通过所有链接进行深度图像搜索（最多两个级别）更新JSZip库版本0.3.4可以在新的浏览器选项卡中打开图库视图可以在图库视图中单击单个图像可以从以下位置下载图像版本0.3.7同时具有多个选项卡。两个新过滤器：删除相同的图像并使用列入黑名单的关键字删除图像现在，可以在不关闭UI的情况下停止UI的图像蜘蛛版本0.5.6 Deeps搜索级别3，该级别搜索两个链接和目标HTML页面中的图像自定义RegExp过滤器可提高搜索速度。 支持语言:English
利用DownThemAll工具批量下载网页单一链接的数据
weixin_43047707的博客
10-11 4559
DownThemAll 批量下载数据 网页链接 叶面积指数LAI
DownThemAll firefox很好的下载插件
系统运维
08-09 435
切割文件下载 提高了下载的速度好几倍。
Earthdata下载方法
qq_51017736的博客
09-13 2464
首先找到对应的wget安装包。 附链接：LAADS Data Download Scriptshttps://ladsweb.modaps.eosdis.nasa.gov/tools-and-services/data-download-scripts/#wget 需要对应好下载 Move it to C:\Windows\System32 (admin privileges will be required) 移动到C盘上述路径下。 在终端数据cmd 输入自己申请后里面给的链接 选中...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

冬_冬_

若觉得文章对您有用，请随意打赏

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值