SpatialHadoop
SpatialHadoop详细介绍!源码解析!
优惠券已抵扣
余额抵扣
还需支付
¥19.90
¥99.00
购买须知?
本专栏为图文内容,最终完结不会低于15篇文章。
订阅专栏,享有专栏所有文章阅读权限。
本专栏为虚拟商品,基于网络商品和虚拟商品的性质和特征,专栏一经购买无正当理由不予退款,不支持升级,敬请谅解。
GeoWin_CAU
其实,我是一个演员(研猿)……
展开
-
SpatialHadoop中空间索引系列之(四)空间格网索引实现
有关空间格网索引原理详见前面章节讲述的内容。这里我们根据SpatialHadoop中具体的实现,来详细讲解下。格网索引是一级索引,格网的个数取决于两个参数,一个是数据集的大小,另外一个就是格网的大小。那么在SpatialHadoop当中,具体怎么实现,我们先来拜读下作者Ahmed的文章。原创 2016-02-09 05:00:34 · 1755 阅读 · 0 评论 -
SpatialHadoop中空间索引系列之(八)现有空间数据库的索引方式
原创 2016-02-10 04:10:24 · 1431 阅读 · 1 评论 -
SpatialHadoop中空间索引系列之(九)B树索引
B-树类型的索引树是一种高度平衡的多路径检索树结构,在传统的数据库中应用非常广泛。但是传统的 B-树只能检索多属性数据,对于空间数据却无能为力。因此,需要对传统 B-树进行扩展,开拓创新,提出更多的基于 B-树的专用空间索引技术,如 R-树、R+-树、R*-树等。原创 2016-02-10 04:41:06 · 2280 阅读 · 1 评论 -
SpatialHadoop中空间索引系列之(十)R-Tree 索引源码解析
前面章节已经大概描述了在SpatialHadoop中R-Tree空间索引实现的步骤,本章节就从源码角度来看下该算法是怎么实现的。原创 2016-02-11 05:53:21 · 2342 阅读 · 5 评论 -
SpatialHadoop 中的 MapReduce 层
关于这篇文章有点长,前几篇中断断续续的翻译了一部分,今天继续翻译一部分。对我来讲,我就是过一篇,让自己更清楚的了解下,大家可以看原文哦。偷笑偷笑偷笑(想看系列文章,请访问:系列文章,点我点我!)翻译 2016-02-13 05:38:57 · 1407 阅读 · 1 评论 -
SpatialHadoop 中的 Operations 层 之 Range Query
本来不想翻译了,可是又看到了后面的内容。有些外文文献只看个标题,有些呢只看个摘要,有些自己喜欢的真的想好好理解一下,那就翻译吧!!!!!想看更多系列文章,请点击这里哦!!!大笑大笑大笑翻译 2016-02-13 07:25:30 · 1686 阅读 · 2 评论 -
空间可视化——地图是怎么炼成的
承接上几节试验结果,继续coding!!!!!!!!!!==========================================================================原创 2016-03-17 03:44:24 · 2365 阅读 · 1 评论 -
GeoHadoop 之 Hilbert 空间填充曲线 Java 实现(二)
承接上一节,来看下做出来的效果!原创 2016-02-19 05:22:59 · 5148 阅读 · 1 评论 -
GeoHadoop 之 Hilbert 空间填充曲线 Java 实现(一)
以希尔伯特命名的数学名词多如牛毛,有些连希尔伯特本人都不知道。希尔伯特空间在很多领域都有广泛的应用。由于其强空间特性,能够保证多维相邻的空间要素在一维空间上仍然保持局部相应的空间关系,在地理领域,基于Hilbert的空间索引、空间聚类等算法非常多见。今天我们来看下Hilbert是如何来解决空间问题的。首先,来认识下老爷子吧(百度)。更多文章请点击戴维·希尔伯特(不得不承认老爷子很帅!!!!!!原创 2016-02-19 04:49:07 · 6339 阅读 · 4 评论 -
SpatialHadoop中空间索引系列之(七)RTree/R+Tree的实现
R-Tree 本节主要描述下在章节V-B中是如何通过基于集群节点的R-Tree索引对空间数据进行分割的。如图4(b)所示,是每个分区中R-Tree局部索引。 在数据分割阶段,为了计算分块的边界,我们通过批量加载一个输入文件的随机样本到内存中,R-Tree采用文献30中的Sort-Tile-Recursive(STR)算法实现。随机样本的大小为输入文件大小的1%的默认翻译 2016-02-09 07:39:23 · 3664 阅读 · 0 评论 -
SpatialHadoop中空间索引系列之(六)R树索引原理
R 树(Reference Tree)R树是处理空间数据的B+树的改进,它像B+树一样,是一个高度平衡的数据结构。R 树算法是由美国加州大学的Antomm Guttman 教授在1984 年提出的一种空间数据库动态索引算法,现已成为空间数据库索引中应用最广泛的算法之一。R 树较好地解决了许多传统算法未解决的空间数据动态索引问题。=======================原创 2016-02-09 06:02:03 · 3472 阅读 · 0 评论 -
SpatialHadoop中空间索引系列之(五)四叉树索引原理
四叉树基本思想:二维空间范围被划分为一系列大小相等的棋盘状矩形,即将地理空间的长和宽在X和Y方向上进行2N等分,形成2N×2N的网格,并以此建立N级四叉树。四叉树是具有一个根节点,其中的每个中间节点都有四个孩子。四叉树的每个节点对应一个正方形。原创 2016-02-09 05:34:25 · 2628 阅读 · 0 评论 -
Hadoop中空间数据的存储(一)
Hadoop十周年了,基于Hadoop的空间大数据处理与分析平台出现了好几个,也死掉了不少。由于空间数据的空间特性,导致原型的Hadoop在处理空间大数据方面有很多缺陷。今天我们就来看下空间数据在Hadoop中是如何存储的,这样的存储会带来什么问题。原创 2016-02-06 00:41:12 · 7148 阅读 · 9 评论 -
Hadoop中空间数据的存储(二)
在前一节中,我们讲解了空间数据在Hadoop中的存储,通过将块进行可视化来分析了下Hadoop在存储空间数据的缺陷,可能远远不止这一点。今天我们就基于比较完善成熟的SpatialHadoop平台做一下同样的实验,来看下在SpatialHadoop平台中如何体现空间数据的特性。SpatialHadoop平台是由美国明尼苏达大学计算机系(提到这个大家是不是很熟悉,曾经的mapserver)Mokbel教授所带团队研发,目前平台持续更新中。原创 2016-02-06 01:21:40 · 3263 阅读 · 10 评论 -
SpatialHadoop中空间索引系列之(三)格网索引原理
接着上一篇继续吧!!!!!!!!!!!!!!这一篇来描述下什么是空间格网索引。格网型空间索引的基本思想是将研究区域用横竖线条划分大小相等或不等的格网,记录每一个格网所包含的空间实体。当用户进行空间查询时,首先计算出用户查询对象所在格网,然后再在该网格中快速查询所选空间实体,这样一来就大大地加速了空间索引的查询速度。原创 2016-02-04 05:32:43 · 4463 阅读 · 0 评论 -
SpatialHadoop中空间索引系列之(二)空间对象索引原理
空间索引(Spatial Index)是指依据空间对象的位置和形状或空间对象之间的某种空间关系按一定的顺序排列的一种数据结构 ,其中包含空间对象的概要信息,如对象的标识、外接矩形及指向空间对象实体的指针。(不知所云,还给老师吧!)原创 2016-02-04 05:19:47 · 2547 阅读 · 0 评论 -
ArcGIS 地图切图系列之(三)MapReduce 实现
前面有一节讲解了ArcGIS 地图切片之 JAVA 实现,这一节,我们就来看下在Hadoop下,如何通过MapReduce来实现地图切片。在大数据环境下,不得不尝试下云平台的优势,来解决单机的执行效率有限。 在前面章节中讲述到,ArcGIS地图切片通过JAVA来实现需要三个步骤:1)计算当前要素的行列号;2)根据行列号、宽度和高度,来进行画布的生成;3)……………………原创 2016-02-04 04:08:26 · 3808 阅读 · 8 评论 -
CG_Hadoop:基于MapReduce的计算几何
摘要:Hadoop使用了MapReduce编程范式,目前已经被公认为是分布式环境中分析大数据的标准框架。然而,它并不能很好的应用于大规模的计算几何处理。本文介绍的CG_Hadoop是一套可伸缩的和高效的MapReduce算法,用于处理各种基本计算几何问题,例如多边形合并、skyline(轮廓线)、convex hull(凸包)、farthest pair(最远相对)以及最近相对等,这些都是其它几何算法的基础。对于每一个计算几何操作,CG_Hadoop有两个版本,一个基于Apache Hadoop系统,一个基翻译 2014-12-26 16:51:53 · 2377 阅读 · 2 评论 -
SpatialHadoop实例:面向空间数据的高效MapReduce框架
本文实例介绍了SpatialHadoop平台,它是第一个基于成熟MapReduce对空间数据具有原生支持的框架。SpatialHadoop是对Hadoop的做了一个全面的扩展,使其核心功能可以支持空间数据。因此,对于处理空间数据,SpatialHadoop与目前存在的Hadoop项目相比具有更好的性能。SpatialHadoop主要包括一个简单的空间高级语言、两级空间索引结构,以及建立在MapReduce层的基本空间组件和三个基本空间操作(范围查询、K-NN查询和空间链接)。其他的空间操作同样也可以在Spa翻译 2014-12-17 12:25:38 · 5231 阅读 · 4 评论 -
ArcGIS 地图切图系列之(一)切片原理解析
地图缓存是一个包含了不同比例尺下整个地图范围的地图切片的目录。即一个缓存的地图服务就是能够利用静态图片来快速的提供地图的服务。ArcGIS Server 缓存服务由ArcGIS Server 预先生成的一套地图图片/图层,以快速显示,满足用户对地图的请求。原创 2016-01-24 00:18:20 · 34191 阅读 · 13 评论 -
ArcGIS 地图切图系列之(二)JAVA实现
在大数据环境下,很多空间数据都采用了地图切片的方式为用户共享或者提供数据。本文根据ArcGIS Server地图切片的原理,通过java语言实现了地图的缓存过程,并采用js对缓存的结果进行了数据展示。希望对大家有所帮助。原创 2016-01-24 00:52:30 · 8892 阅读 · 9 评论 -
SpatialHadoop中空间索引系列之(一)空间索引构建
SptialHadoop是基于hadoop扩展的用于处理空间大数据的与计算平台。最近的工作研究一下在大数据环境下空间索引的构建方法。今天就讨论下在spatialhadoop当中,空间索引是如何构建的。翻译 2016-02-03 07:32:19 · 3401 阅读 · 1 评论