优化的NPP夜光月度数据下载
NPP 夜光
之前发表了中科院版的全球夜光数据集。
但是不少科研课题还是需要从较前端的产品开始做,因而之后有同事联系我批量拷贝原始数据。
在我们的研究工作中发现原始的数据格式可用性较差。我们这里在格式上做了一些改动,而且提供一个国内较快速的下载途径。
原始数据
美国国家海洋大气管理局NOAA下属的国家环境信息中心NCEI下有专门对夜光数据加以处理的小组,他们发布每个月份的合成产品。
但是使用他们的数据存在以下问题:
1)下载速度慢,很可能只有几十KB或者上百KB,而目前整个数据集的大小是180GB;
2)界面上下载文件需要逐个点击,如果需要全球全序列,必须要做大量无聊的人机操作;
3)下载的格式是.tgz压缩,解压费时很长,解压后是标准无压缩的2.5GB的TIFF文件,这样前完整的全球数据集占用盘空间大小超过1TB。
总而言之,这个原始数据集文件较大,而且在美国的服务器上下载速度很慢,缺少简单的一次性下载的功能,而且下载后还要解压,解压后文件要占用超过1T的硬盘空间,这样一般的电脑还不容易开展研究工作。
改进数据
为了更好的服务中国的科技人员,我们将原始数据集做了一些优化处理。
第一,将数据的格式改成内在无损压缩的TIFF格式,它的大小甚至比原始下载压缩文件还要小一些;
第二,把文件名做了简化处理,更容易拼写,更容易查找,更容易使用。
例如,下面的一个TILE的原始下载文件的大小是389MB,解压后要占2580.1MB,而我们处理完可以直接使用的两个TIF文件是364MB,相比原始下载文件还减小了6.5%,而又比解压后的标准TIFF文件小了90%。另外文件名也缩短到原来的1/4长度。
原始文件 261.7MB 以此为基础即 100%SVDNB_npp_20170601-20170630_75N180W_vcmcfg_v10_c201707021700.tgz 261.7MB
解压后 2580.1MB 是原始文件的 986%SVDNB_npp_20170601-20170630_75N180W_vcmcfg_v10_c201707021700.avg_rade9h.tif 2073.7MB
SVDNB_npp_20170601-20170630_75N180W_vcmcfg_v10_c201707021700.cf_cvg 506.4MB
我们处理后 246.3MB 是原始文件的 94%201706_75N180W_AVE.TIF 199.3MB
201706_75N180W_CNT.TIF 47.0MB
采用我们的新格式后,经测试使用上没有什么问题。
无需解压,下载后直接可以用PHOTOSHOP、ENVI等软件打开操作
可以用matlab等科学软件包读入,文件名大幅度缩短,而且读入速度变快了(因为文件大小只有原始格式解压后的10%左右)。
测试表明,原来读取解压后文件大概要100秒,而读取我们改进后的格式只要33秒。
百度盘地址
联系方式
陈甫 副研究员
中国科学院遥感与数字地球研究所
chenfu@radi.ac.cn
13811147935