1. 概述
真是应了那句话,千里之行始于足下,全球谷歌卫星地图数据下载项目从2019年7月至今,历时半年之久,现在终于全部下载完成了!现在我把一些经验和心得与大家进行分享。
2. 下载全球卫星影像数据的前因后果
由于有众多客户(主要是涉密单位)对全球数据有需求,都希望可以建立一个离线查看的本地谷歌地球,我们大概在三年前就启动了全球数据下载计划但却一直无果而终。原因有很多,任务分配太多导致数据混乱,中途被其它事情打断搁置等等。但最主要的原因,可能还是项目负责人的问题,虽然看起来很努力却一直没有把这个事做好。
全球数据
直到去年7月份,我才决定亲自着手此事,其实当时我也在犯嘀咕,该项目只是我众多工作中的一项,我是否有这个精力兼顾呢?全球数据这么大,要下载到何年何月呢?再加上以前下载的数据十分凌乱,在梳理过程中还发现很多数据存在错误,居然有根本没有下载完就入库的情况,一时间还真不知道该如何办才好。看着已经接近下载了一半的数据,该继续整理还是从头再来?这着实是一个难以取舍的问题。
后来干脆花了两天时间进行了专门的下载测试,发现下载速度其实比想像的快很多,再根据需要下载的文件数与数据量大小进行了充分的估算之后,觉得下载全球数据应该没有想像那么难,也应该花不到太长的时间。于是,最后下定决心从头开始!
以前下载全球数据时,是负责开发的同事用代码一次性生成好了所有任务,再分别分配到每一台电脑。由于该工作不需要全天候职守,且下载数据的电脑比较多,一旦记录没有作仔细,原本简单的事稍不留神就会让数据混乱。基于上述原因,我这次不采用同事生成好的任务,而是每一组任务都自己手动建立,且只用四台电脑下载。这样的工作方式看起来慢实则最快,这种笨办法可以让每台电脑下载数据的情况心中有数,正所谓欲速则不达!
最后,如文中开头所述,该项目历时半年,终于圆满完成!当然,这期间离不开另外两位小伙伴的密切配合,他们才是在这半年中付出最多的人。下面我将会对全球数据情况及参数作一些简单的说明。如果你也想下载谷歌全球卫星影像数据,请关注微信号"水经注GIS"并回复"全球数据"入群,我将会在群中毫无保留地与你分享!
3. 全球数据参数与概况
这里下载的全球数据,数据源为谷歌地球,坐标投影为WGS84经纬度投影,无偏移无水印。数据级别为1到19级,一共73.9TB大小,如下图所示。
全球卫星影像73.9TB
全球数据共分为6个文件夹,其中"World_L2_10"是存储的全于2到10级影像数据,其它五个文件夹为全于10-19级影像数据,一共分成了5部分,如下图所示。
数据共分6组
全球数据的每一个文件分块由一组DAT和IDX组成,通过搜索DAT文件可以检索出所有的影像数据分块文件。全球数据文件基于第10级瓦片为金字塔塔尖对10到19级进行分块,一共131072个块,再加上2到10级以内的两个分块,一共131074个分块文件,如下图所示。
共131074个文件分块
2到10级以内的数据分块文件名称分别为"2_1_1"和"2_2_1",10到19级文件分块从"10_1_1"开始,如下图所示。
按文件名称排序的起始位置
文件"2_1_1"和"2_2_1"对应2到10级影像分块,如下图所示。
第2到10级分块
文件"10_1_1"对应基于全球左上角的瓦片分块,如下图所示。
第10到19给分块左上角为起始位置
10到19级文件分块到"10_512_256"结束,如下图所示。
按文件名称排序的结束位置
文件"10_512_256"对应基于全球左上角的瓦片分块,如下图所示。
第10到19给分块右下角结束位置
将所有文件按下载完成时间进行排序,最早完成时间为2019年7月14日12点23分,如下图所示。
按下载完成时间排序的起始位置
最晚完成下载的时间为2020年2月20日22点41分,如下图所示。
按下载完成时间排序的结束位置
将所有文件按大小进行排序,最小的影像只有1KB,这种数据非常小的文件主要分布在南北级基本无影像数据的区域。
按文件大小排序的起始位置
最大的数据达8G之多,如下图所示。
按文件大小排序的结束位置
其中,文件"10_108_84"是全球数据中最大的分块,一共8.33GB,如下图所示。
最大的文件8.33GB
4. 新手如何下载全球数据?
从上述说明已经可以看出,下载全球数据是通过分块进行下载的,但新建任务时我的方法是基于第10级,一次下载4列,每列256个任务块,也就是一次新建1024个任务分块。具体下载的方法,可以通过关注微信公众号"水经注GIS"并回复"全球数据"入群,我将会在群中毫无保留地与你分享!关于全球离线影像数据如何使用,如何在局域网内发布,又该如何调用等一系列问题,我们都会全部为你答疑解惑,如果有必要,我们也可以通过在线直播的方式为大家进行详细演示!
5. 总结
最后,如果你有需要,我们也可以为你提供全球离线二三维GIS系统的解决方案。接下来,我们将用同样的方法,计划下载全国以及全球1-21级数据,这是一个更有挑战性的工程,也希望有朝一日能顺利完成!