SpatialHadoop 中的 MapReduce 层

最新推荐文章于 2020-07-30 12:57:54 发布
最新推荐文章于 2020-07-30 12:57:54 发布
阅读量1.3k 收藏
点赞数
分类专栏： SpatialHadoop 大数据技术篇 GIS系统开发 JAVA 语言 SpatialHadoop1 文章标签： spatialhadoop hadoop GIS GeoHadoop mapreduce 源码
SpatialHadoop 同时被 3 个专栏收录
22 篇文章 72 订阅 ¥19.90 ¥99.00
订阅专栏
大数据技术篇
61 篇文章 1 订阅
订阅专栏
GIS系统开发
18 篇文章 2 订阅
订阅专栏

       关于这篇文章有点长，前几篇中断断续续的翻译了一部分，今天继续翻译一部分。对我来讲，我就是过一篇，让自己更清楚的了解下，大家可以看原文哦。偷笑偷笑偷笑（想看系列文章，请访问：系列文章，点我点我！）

      和Hadoop类似，SpatialHadoop中的MapReduce层是执行MapReduce项目时的查询操作层。然而，与hadoop相比，前者输入的数据集是没有索引的，而SpatialHadoop支持空间索引文件。如图6所示，描述了Hadoop和SpatialHadoop中Mapreduce阶段的差异。在Hadoop中，输入文件通过文件分割器被切分为n份，n取决于MapReduce项目，是根据集群有多少个可用子节点来设定的。然

了解本专栏 订阅专栏 解锁全文
GeoWin_CAU
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
订阅专栏
SpatialHadoop实例：面向空间数据的高效MapReduce框架
探索地理之源 分享GIS价值
12-17 5218
本文实例介绍了SpatialHadoop平台，它是第一个基于成熟MapReduce对空间数据具有原生支持的框架。SpatialHadoop是对Hadoop的做了一个全面的扩展，使其核心功能可以支持空间数据。因此，对于处理空间数据，SpatialHadoop与目前存在的Hadoop项目相比具有更好的性能。SpatialHadoop主要包括一个简单的空间高级语言、两级空间索引结构，以及建立在MapReduce层的基本空间组件和三个基本空间操作（范围查询、K-NN查询和空间链接）。其他的空间操作同样也可以在Spa
基于SpatialHadoop库的arcgis切片实现.7z
07-30
利用SpatialHadoop库，实现ArcGIS地理坐标系和投影坐标系的切片，并利用ArcGIS api for JavaScript 完成了切片的加载，本实例从数据的读取，数据索引，数据处理，数据切片，数据加载，实现了全流程的切片过程。
基于SpatialHadoop库实现ArcGIS方案下的地图切片及加载
polixiaohai的专栏
07-30 504
1、ArcGIS切片原理介绍 具体的切片原理可以参考这个ArcGIS 地图切图系列之（一）切片原理解析，本文也是研究了这篇文章，进一步学习总结，从而有了这个文的。 总的来讲ArcGIS基于以下图完成切图实现： 如果不对屏幕坐标系进行平移的话就会造成不同范围下，同一个坐标系下的给定坐标范围所在的切片的row，col序号不一致，因此不同的切片不能进行叠加。为了能在地理坐标系（WGS84），投影坐标系（WKID：3857）下切片能完美叠加。分别对坐标系进行了平移处理，将原点固定在了： 地理坐标系（WGS84）：
SpatialHadoop：有效的分析你的空间数据
xugen12的专栏
10-08 1108
一、简介 SpatialHadoop是一个开源的MapReduce扩展，专门用于在ApacheHadoop集群上处理空间数据。SpatialHadoop内置了空间高级语言,空间数据类型、空间索引和高效的空间操作。 二、安装和配置SpatialHadoop 1、配置SpatialHadoop SpatialHadoop设计了一个通用的运行方式，它可以在任何一个已配置好的Hadoop集
SpatialHadoop中空间索引系列之（四）空间格网索引实现
探索地理之源 分享GIS价值
02-09 1732
有关空间格网索引原理详见前面章节讲述的内容。这里我们根据SpatialHadoop中具体的实现，来详细讲解下。格网索引是一级索引，格网的个数取决于两个参数，一个是数据集的大小，另外一个就是格网的大小。那么在SpatialHadoop当中，具体怎么实现，我们先来拜读下作者Ahmed的文章。
Hadoop中MapReduce框架入门
03-01
MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题.对于业界的大数据存储及分布式处理系统来说Hadoop2提出的新MapReudce就是YARN:...
MapReduce中文文档翻译
03-13
MapReduce模型的简单性和可扩展性使得没有并行计算经验的程序员也能轻松处理分布式系统中的任务。Google实现的MapReduce系统可以在数千台机器上运行，处理TB级别的数据。实际应用中，谷歌内部已经使用了数百个...
MongoDB中的MapReduce简介
09-10
主要介绍了MongoDB中的MapReduce简介,MapReduce是一种计算模型,简单的说就是将大批量的工作（数据）分解（MAP）执行,然后再将结果合并成最终结果（REDUCE）,需要的朋友可以参考下
MongoDB中MapReduce的使用方法详解
09-09
MapReduce应该算是MongoDB操作中比较复杂的了，下面这篇文章主要给大家介绍了关于MongoDB中MapReduce使用的相关资料，文中通过示例代码介绍的非常详细，需要的朋友可以参考借鉴，下面随着小编来一起看看吧。
SpatialHadoop的使用方法
yilvyangguang520的博客
06-24 318
https://blog.csdn.net/xiaof22a/article/details/80252071
spatialhadoop 2.4.1
10-28
spatialhadoop-2.4.1编译包，源码来源https://github.com/aseldawy/spatialhadoop2.git，编译环境：jdk1.7.0_79；Hadoop2.6.0
spatialhadoop2, 作为扩展的第二代 SpatialHadoop.zip
09-18
spatialhadoop2, 作为扩展的第二代 SpatialHadoop SpatialHadoop是对Hadoop的一个扩展，它使用MapReduce提供高效处理空间数据。 它提供了用于MapReduce作业的空间数据类型，包括点。rectangle 和多边形。 它还在HDFS中添加了低级别的空间索引，比如
MRGIS: A MapReduce-Enabled High PerformanceWorkflow System for GIS
09-01
一篇论文，英文的。关于mapreduce技术在GIS中应用的一篇文章。貌似是华人写的，不过学校是国外的。
spatial-framework-for-hadoop:HadoopSpatial框架允许开发人员和数据科学家使用Hadoop数据处理系统进行空间数据分析
04-13
Hadoop空间框架 Hadoop的空间框架允许开发人员和数据科学家将Hadoop数据处理系统用于空间数据分析。 有关使用此框架的工具，和，请转到。 什么是新的 现在，ST_Centroid返回几何形心，而不是其包络线的中心（从v2.1开始）。 与 ，Hive v2.3＆v3和Jackson v2兼容。 注意：最新版本可能上可用但。 特征 -与从ArcGIS导出的JSON进行交互的程序 用户定义的功能和SerDes，用于Hive中的空间分析 UDF文档 JSON SerDe 入门 玛文 就像构建其他Mavenized存储库一样进行构建。 所有依赖项都将自动拉出。 蚂蚁 也可以使用Ant构建文件，但它们被认为是旧文件，并且可能会在将来的版本中删除。 在此存储库的根级别，您可以使用Apache Ant在框架中构建所有内容的单个jar。 或者，您可以在每个框架组件的根级别（即hive
大数据GIS系列(1)——大数据时代下的GIS技术
SuperMap地图技术专栏
01-06 2533
1.1 Hadoop技术 Apache Hadoop项目提供了一个可扩展且可靠的分布式计算框架，允许大型数据集使用简单的编程模型在计算机集群上进行分布式处理。它被设计成能够从单一的服务器扩展到成千上万的机器，每个节点提供本地计算和存储。Hadoop意图在应用层检测和处理故障，而不是依靠硬件来提供高可靠性。它提供了基于集群的高可靠性服务，即使集群中的节点可能是易发生故障的。 Hadoop项目包括以下...
ArcGIS 地图切图系列之（三）MapReduce 实现
探索地理之源 分享GIS价值
02-04 3791
前面有一节讲解了ArcGIS 地图切片之 JAVA 实现，这一节，我们就来看下在Hadoop下，如何通过MapReduce来实现地图切片。在大数据环境下，不得不尝试下云平台的优势，来解决单机的执行效率有限。 在前面章节中讲述到，ArcGIS地图切片通过JAVA来实现需要三个步骤：1）计算当前要素的行列号；2）根据行列号、宽度和高度，来进行画布的生成；3)……………………
SpatialHadoop中空间索引系列之（一）空间索引构建
探索地理之源 分享GIS价值
02-03 3387
SptialHadoop是基于hadoop扩展的用于处理空间大数据的与计算平台。最近的工作研究一下在大数据环境下空间索引的构建方法。今天就讨论下在spatialhadoop当中，空间索引是如何构建的。
spatialhadoop2.1源码阅读(一) shadoop脚本文件
flyhaifeng的专栏
11-18 1185
1. bin/shadoop文件内容如下： bin=`dirname "$0"` bin=`cd "$bin" > /dev/null; pwd` # Call Hadoop with the operations.Main as the main class . "$bin"/hadoop edu.umn.cs.spatialHadoop.operations.Main $@
大数据中MapReduce
最新发布
06-14
MapReduce是一种分布式计算模型，由Google在2004年首次提出，用于处理大规模数据集的并行处理和分析。它将复杂的数据处理任务分解成两个主要步骤： 1. **Map**阶段：在这个阶段，输入数据被分割成许多小块（键值对），然后分配到多个计算节点上。每个节点执行一个自定义的"map"函数，对数据进行独立处理，将原始键值对转换成一系列中间键值对。 2. **Reduce**阶段：在map阶段完成后，每个节点会收集它们处理过的中间结果，并通过键对进行排序。然后，这些排序后的键值对会被发送到一个或多个reducer函数中，进一步聚合数据，生成最终的输出结果。 MapReduce的设计理念是“分而治之”，即把复杂的问题分解为许多简单的任务，再把这些任务并行化处理。它非常适合那些读取大量数据、执行简单操作（如计数、聚合）然后汇总结果的工作负载。 MapReduce在大数据处理领域有着广泛的应用，如搜索引擎索引构建、日志分析、社交网络分析等。Hadoop是MapReduce最著名的实现之一，它是一个开源框架，包含了HDFS分布式文件系统和YARN资源调度器，使得MapReduce能够在大规模集群上高效运行。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值