NASA EARTHDATA GES DISC不用爬虫批量下载数据
由于NASA EARTHDATA GES DISC的数据集需要登录下载,使用爬虫下载不仅需要获取Cookie,而且保存速度很慢。
幸运的是NASA EARTHDATA GES DISC的网站提供每一个数据的下载链接。不需要用正则表达式筛选获取页面元素,直接复制链接表就能获得所有的下载链接。因此,用浏览器直接输入链接访问最简便。但是,数据量太大,DownThemAll可以解决问题。
下载插件DownThemAll
这个插件可以把一个网页上所有链接的文件下载下来
Firefox中的安装链接
Chrome浏览器的安装链接
Opera浏览器中安装链接
DownThemAll官方网站
找到数据集下载链接列表
-
打开数据集页面,点击EarthdataSearch
-
这个数据集就是我们要找的数据集,点击
-
根据日期地区选择数据获取的范围,点击加号选择需要的数据,点击下方绿色按钮Download。如果下载数据集中所有数据,点击Downloadall
-
点击DownloadData
-
选择Download LInks
启动插件
-
右击鼠标,选择Downloadall–Downloadall
-
-
选择所有文件,点击下载
-
-
由于页面中还有我们不需要的链接,我们可以用正则表达式在筛选器中筛选掉,或者手动删除。
-