JHTDB数据下载主要方法

JHTDB数据下载主要方法

官网:https://turbulence.pha.jhu.edu/

不管用什么方法,先申请一个token:https://turbulence.pha.jhu.edu/authtoken.aspx

way1:
在 本地 或 云服务器 中 使用pyJHTDB库(https://github.com/idies/pyJHTDB),利用脚本下载到  本地 或 云服务器 上
(本地 或 云服务器 直连数据库进行传输)
(可以处理大规模的数据;可以嵌入到其他程序中灵活获取数据从而不占用本地存储空间;but 下载速度很慢,且网络十分不稳定,尤其是在获取较大数据切片时)
#常用函数:getData(灵活获取再处理数据,支持插值),getCutout / getbigCutout(便捷获取RAW数据,getbigCutout是getCutout的再封装,可以自动将超大切片splt后进行分段获取)

way2:
在 SciServer(https://apps.sciserver.org/compute/) 上 用 jupyter 使用pyJHTDB库(https://github.com/idies/pyJHTDB),利用脚本下载到 SciServer 上
(SciServer 直连数据库进行传输)
(具备以上全部优势,且几乎是最稳定最快的方案;but 无AI硬件可用)

way3:
在 网页版 Cutout 服务(https://turbulence.idies.jhu.edu/cutout/jobs#) 中 零代码 手动获取切片,然后点击下载到  本地 或 云服务器 上
(SciServer 直连数据库进行传输,然后 本地 或 云服务器 链接 SciServer 进行下载)
(操作简单,手动获取切片后数据会被存储到 SciServer 上,然后可以直接点击下载,若在国内这是最快的下载方法!非常快!!!而且也是国内使用时“单次可请求的数据量”最大的方法!;but 手动的,需要大规模数据的话得一次次动手,相对繁琐)

# NOTE 以上所有方法,单次请求的切片都不能太大,否则网络会不稳定并失败,其中“单次可请求的数据量”最大且网络传输下载速度最快的是 way3,而且是遥遥领先(传输速度上亲测可能有约10~50倍的差距,“单次可请求的数据量”上约100倍的差距)
# NOTE 所有方法都有网络不稳定导致失败的可能(即使单次请求数据量不大也是如此),如果网速过慢且不稳定,建议换个时段再试

maybe best way 4 us:(该方法与way1相比,拥有同样的灵活性等优势,也同样存在网络不稳定的问题,在总耗时上并未严格测试谁更优)
在 SciServer的jupyter 中使用pyJHTDB库,利用脚本下载到 SciServer 上(即way2)
然后直接在 SciServer的jupyter 中找到数据所在位置,
或在 SciServer 的 volume (https://apps.sciserver.org/dashboard/files/uservolumes)里 找到用 SciServer的jupyter 下载的数据的所在位置,
并 手动点击下载,这两种方式 与 在网页版 Cutout 服务上点击下载 网速差不多

maybe better way:
在 SciServer(https://apps.sciserver.org/compute/) 上 用 jupyter 使用pyJHTDB库(https://github.com/idies/pyJHTDB),利用脚本下载
然后,直接使用 SciServer 的 API 访问数据

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值