Hadoop十周年了,基于Hadoop的空间大数据处理与分析平台出现了好几个,也死掉了不少。由于空间数据的空间特性,导致原型的Hadoop在处理空间大数据方面有很多缺陷。今天我们就来看下空间数据在Hadoop中是如何存储的,这样的存储会带来什么问题。
实验准备:
1、数据集:全国县级行政单元(约148MB)
2、实验环境:Hadoop1.2.1
将数据上传Hadoop,这里上传的数据已经做了转换,由Shapefile转换成了文本格式,具体数据组织方式如下:{ID, POLYGON (( point, point,……………………………………………………………………)) }