SpatialHadoop中空间索引系列之(一)空间索引构建

22 篇文章 73 订阅 ¥19.90 ¥99.00
61 篇文章 1 订阅
41 篇文章 0 订阅
本文探讨SpatialHadoop中空间索引的构建,采用两层索引方法,包括全局索引和局部索引。分区、局部索引和全局索引构建涉及计算分区个数、确定分区边界、物理分区、构建局部索引和全局索引等步骤,旨在解决大数据环境下空间数据的高效处理。
摘要由CSDN通过智能技术生成

   SptialHadoop是基于hadoop扩展的用于处理空间大数据的与计算平台。最近的工作研究一下在大数据环境下空间索引的构建方法。今天就讨论下在spatialhadoop当中,空间索引是如何构建的。文章地址:Spatialhadoop

    1、概述

为了弥补在hadoop中创建索引结构的不足,我们采用了两层索引的方法,包括全局索引和局部索引。全局索引存储在主节点上,主节点通过一个分区集合来对存储在子节点上的数据进行切分,每一个分区都有一个局部索引用来组织自己的数据。这样的组织方式主要解决了两个问题:1)它适合mapreduce编程范式,本地索引能够通过一个mapreduce工作来并行处理;2)本地索引的大小允许每一个被批量加载到内存中和通过扩展的方式写入到一个文件中。用户可以通过下面的spatialhadoop shell命令来对一个输入文件 src file 创建不同类型的索引,最终生成一个输出文件 dst file。这里的索引类型包括gr

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值