开源分布式空间数据引擎分析(1)

最新推荐文章于 2022-05-09 15:39:42 发布
最新推荐文章于 2022-05-09 15:39:42 发布
阅读量703 收藏 1
点赞数
分类专栏： 数据库 GIS开发 文章标签： hbase 分布式 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chijingjing/article/details/124667208
版权

功能分析:

整体上GeoMesa(Scala开发)+hbase在能力上能够覆盖基本的矢量数据分布式存储和普通二维数据存储. 如果需要栅格数据分布式存储分析则需要GeoTrellis(Scala开发). 另外GeoTrellis 可以集成GeoWave(矢量, Java开发)如下:

说一下技术路线(geotrellis): 

其关键技术路线为使用Cloud Optimized GeoTIFF 文件来存储栅格数据, 然后使用分布式文件系统存储,  使用 s3 或者其他支持流式 seek的流取读取分析数据, 普通的FTP是不能支持,  COG标准Cloud Optimized GeoTIFF可在这上面了解.

GeoMesa 矢量存储的关键技术逻辑如下:

GeoMesa 部署在服务端, 并通过hbase的协处理器来处理空间查询操作, 另外将空间填充索引引用到服务端, 以保证分布式查询的效率.

 

cejutue
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【空间数据库】空间数据库引擎（Spatial DataBase Engine）ArcSDE详解
「 刘一哥与GIS的故事」
09-21 5007
一、空间数据库引擎概述 空间数据库引擎的概念最早由ESRI提出。ESRI对SDE的定义是：从空间数据管理的角度看，SDE是一个连续的空间数据模型，借助这一模型，我们可以将空间数据加人到关系数据库系统(RDBMS)中去。 SDE可以理解为基于特定的空间数据模型，在特定的数据存储、数据库管理系统的基础上，提供对空间数据的存储、检索等操作，以提供在此基础上的二次开发的程序功能集合。同时，SDE又可以看做是基于大型关系型数据库的客户/服务器模式的软件，即相对于客户端，SDE是服务器，提供空间数据服务的接口，接.
GIS中的空间数据引擎
knqiufan的博客
11-22 7049
GIS空间数据引擎概念 空间数据库引擎（SDE,Spatial Database Engine）是GIS中介于应用程序和空间数据库之间的中间件技术，它为用户提供了访问空间数据库的统一接口，是GIS中的关键性技术。 空间数据库引擎大多以两种方式存在：一种是利用数据库本身面向对象的特性，定义面向对象的空间数据抽象数据类型，同时对SQL实现空间方面的扩展，使其支持Spatial SQL查询，
空间数据引擎oracle_GIS中的空间数据引擎
weixin_39815286的博客
12-18 174
GIS空间数据引擎概念空间数据库引擎(SDE, Spatial Database Engine)是GIS中介于应用程序和空间数据库之间的中间件技术，它为用户提供了访问空间数据库的统一接口，是GIS中的关键性技术。空间数据库引擎大多以两种方式存在:一种是利用数据库本身面向对象的特性，定义面向对象的空间数据抽象数据类型，同时对SQL实现空间方面的扩展，使其支持Spatial SQL查询，支持空间数据的...
【转载】开源空间数据引擎MsSQLSpatial简介
Godling的专栏
02-20 772
 【本文转载于：http://os.51cto.com/art/200703/43400.htm，版权属于原创作者】作者: 何滔 出处:软件世界阅读提示：空间数据引擎，其实就是基于关系型数据库的空间数据库技术的软件实现，实质上是个封装了空间领域知识的中间件，GIS等应用层通过这个中间层与关系型数据库交互。本文简单介绍了MsSQLSpatial的基本情况，供大家参考！ MsSQL
数据引擎
大曹的博客
03-06 964
show engines---显示，此数据有的引擎show variables like '%storage_engine%';---当前数据库支持的引擎InnoDB---事物，修改，查询，外键MRG-MYISAM---查询，不能保持一致性，查询比较好MEMORY---内存 性能很好，关机，就没有.        --做一个缓存数据库最好，例如淘宝，第一个用户查询在硬盘里查找，查找到，存在缓存数据...
Elasticsearch 是一个分布式的免费开源搜索和分析引擎.rar
06-30
使用Elasticsearch作为地理信息系统（GIS）管理，集成和分析空间信息 使用Elasticsearch作为生物信息学研究工具来存储和处理遗传数据 索引和文档能搜索到的场景 区分全文字符串字段和精确值字符串字段 执行特定于...
ElasticSearch分布式搜索引擎 v8.2.2
06-23
Elasticsearch 是一个分布式的免费开源搜索和分析引擎，适用于包括文本、数字、地理空间、结构化和非结构化数据等在内的所有类型的数据。Elasticsearch 在 Apache Lucene 的基础上开发而成，由 Elasticsearch N.V....
FoundationDB:开源、分布式、事务键值存储-开源
06-05
FoundationDB 为您提供分布式数据库中 ACID 事务的强大功能。 FoundationDB 是多模型的，这意味着您可以在单个数据库中存储多种类型的数据。 所有数据都安全地存储、分发和复制在键值存储组件中。 FoundationDB 易于...
分布式存储+Elasticsearch+数据存储技术+分布式缓存避坑
最新发布
04-16
Elasticsearch是一个强大的开源搜索引擎，它为数据的存储、搜索和分析提供了高效、可扩展的解决方案。然而，尽管Elasticsearch本身具有许多优势，但在实际使用过程中，用户可能会遇到各种问题和挑战。为了帮助用户...
java开源包1
06-28
Flume 是一个分布式、可靠和高可用的服务，用于收集、聚合以及移动大量日志数据，使用一个简单灵活的架构，就流数据模型。这是一个可靠、容错的服务。 彩信发送开发包 apimms apimms 提供了各种语言用来发送彩信...
geomesa空间大数据分析框架
03-06
适合空间大数据分析，结合kafuka、hadoop、hbase、spark等技术
开源分布式空间数据引擎分析(2)
CJJ的专栏
05-09 608
GeoMesaHbase
2. GeoTrellis学习流程介绍
GIS摆渡人
09-26 375
一.简介 整体分为四个大部分，分别为Spark基础篇，Scala基础篇，GeoTrellis基础篇和GeoTrellis进阶篇。 Spark基础篇 主要讲解Spark的核心知识，不会对Spark进行详细介绍，Spark作为GeoMesa的底层框架，掌握是必不可少的。 Scala基础篇 GeoTrellis是Scala预言编写，所以对Scala的掌握必不可少 GeoTrellis基础篇 主要讲解GeoTrellis的场景用法。 GeoTrellis进阶篇 进阶GeoTrellis的高级用法。 二.学习流程 1
geotrellis-栅格数据切片
tiger_hcx的博客
12-14 866
使用geotrellis中的pipeline模块进行tif数据切片，切片存放在磁盘或hdfs
Geotrellis学习笔记（一）——核密度分析
热门推荐
qq_32432081的博客
06-27 2万+
在geotrellis环境下成功运行了helloworld之后，我第一个尝试的核密度计算~整个过程还是挺艰难的。。。因为对scala非常地不熟，基本属于边写边学的状态T^T 嗯。。首先 核密度分析是什么？？？ 官方文档里对核密度分析有一段这样的介绍：        Kernel density is one way to convert a set of points (an instanc...
三. geotrellis使用 geotrellis数据处理过程分析
GIS摆渡人
05-18 844
之前简单介绍了geotrellis的工作过程以及一个简单的demo，最近在此demo的基础上实现了SRTM DEM数据的实时分析以及高程实时处理，下面我就以我实现的上述功能为例，简单介绍一下geotrellis的数据处理过程。 一、原始数据处理 geotrellis支持geotiff的栅格数据（矢量数据还未研究），可以将geotiff直接缓存至hadoop框架下的Accumulo NOSQL数据库，并建立金字塔等，具体处理过程在geotrellis.spark.etl.E...
geotrellis使用初探
weixin_30906185的博客
04-08 162
最近，单位领导要求我研究一下geotrellis(GITHUB地址：https://github.com/geotrellis/geotrellis，官网http://geotrellis.io/)，于是我只能接受这个苦逼的任务。 官网中写到：GeoTrellis is a geographic data processing engine for high performance applic...
Geotrellis系列文章
HuFeiHu
01-15 3079
一、geotrellis使用初探 二、geotrellis使用（二）geotrellis-chatta-demo以及geotrellis框架数据读取方式初探 三、geotrellis使用（三）geotrellis数据处理过程分析 四、geotrellis使用（四）geotrellis数据处理部分细节 五、geotrellis使用（五）使用scala操作Accumulo 六、geotrellis使用...
数据挖掘各种算法JAVA的实现方法
我们的家
09-28 2万+
数据挖掘-关联分析频繁模式挖掘Apriori、FP-Growth及Eclat算法的JAVA及C++实现： 网址：http://blog.csdn.net/yangliuy/article/details/7494983 数据挖掘-基于贝叶斯算法及KNN算法的newsgroup18828文本分类器的JAVA实现（上） http://blog.csdn.net/yangliuy/ar
tdengine 数据仓库
07-21
### 回答1： TDengine是一种开源的高效时序数据存储和分析引擎，也被称为TDengine数据库。它专门设计用于处理大规模的时序数据，可以广泛应用于各个领域的数据仓库。 首先，TDengine具有高效的数据存储和查询能力。它采用了一种内存优化的数据结构和基于列存储的存储方式，能够快速地存储和检索大量的时序数据。同时，TDengine还支持压缩和索引等技术，进一步提高了数据的存储效率和查询性能。 其次，TDengine具有可扩展性和高可用性。它支持水平扩展，可以通过添加更多的节点来提升系统的处理能力。同时，TDengine还支持数据的复制和容错，确保系统的稳定性和可靠性。 此外，TDengine还具有灵活的数据分析和计算能力。它提供了丰富的数据分析函数和查询语言，如SQL语法和常用的聚合函数等，方便用户对数据进行灵活的分析和计算。同时，TDengine还支持用户自定义的函数和存储过程，满足不同应用场景的需求。 总的来说，TDengine是一种高效、可扩展和灵活的时序数据存储和分析引擎，适用于构建各种规模的数据仓库。无论是互联网、物联网还是工业监控等领域，TDengine都能提供稳定可靠的数据支持，帮助用户进行更好的数据分析和决策。 ### 回答2： TDengine是一种高性能的大数据存储和分析引擎，也被称为“多维度开放式时间序列数据库”。它主要针对海量数据和高速数据流的处理需求，提供了强大的数据仓库解决方案。 TDengine具有以下几个重要的特点： 1. 高性能：TDengine采用了多种优化技术，包括数据压缩、并行计算和索引技术，以提供高速的数据读写和查询操作。其能够在高并发和大数据量的情况下，实现快速的数据存取和分析。 2. 扩展性：TDengine支持水平扩展，可以通过添加更多的节点来增加存储容量和计算能力。它可以根据实际需求动态调整集群规模，灵活应对不同的数据规模。 3. 多维度查询：TDengine支持按时间序列和多维度进行数据查询，可以查询不同时间点的数据、不同时间段的数据以及不同维度的聚合数据。这使得用户可以根据需要进行常规查询、统计分析和复杂计算。 4. 开放式接口：TDengine支持多种数据接入方式，包括JDBC、HTTP、RESTful API等，方便用户将不同数据源的数据导入到TDengine中进行存储和分析。同时，TDengine也提供了用于可视化和交互式分析的工具和接口，方便用户进行数据探索和决策支持。 总之，TDengine是一款强大的数据仓库工具，具备高性能、扩展性和多维度查询等特点。它可以支持海量数据的存储和分析需求，为用户提供快速、灵活和可靠的数据处理解决方案。 ### 回答3： TDengine是一款高性能的开源时序数据库软件，被广泛应用于大数据领域的数据仓库构建。它的独特之处在于其优秀的数据存储和查询性能，以及对海量时序数据的高效管理能力。 首先，TDengine具有高速的数据存储和查询能力。它采用了自主研发的数据存储引擎，能够在海量数据的场景下实现高速写入和读取操作。这使得TDengine能够应对高并发的实时数据流，而不会出现性能瓶颈。 其次，TDengine能够优化时序数据的存储结构，实现更高效的数据压缩和索引技术。这种优化使得数据存储空间得到有效利用，同时也提高了数据查询的效率。用户可以快速地查询和分析特定时间范围内的大量数据，从而提高数据分析和决策的效率。 此外，TDengine还提供了完善的数据管理和处理能力。用户可以使用SQL语言进行数据的增删改查操作，以及进行复杂的数据分析和统计功能。同时，TDengine还支持数据的备份和恢复功能，保证数据的安全性和完整性。 对于数据仓库构建来说，TDengine提供了可靠的基础设施。它支持分布式架构，能够实现数据的水平扩展，满足不断增长的数据存储需求。同时，TDengine还支持数据的多副本备份，保证数据的可靠性和可恢复性。 综上所述，TDengine是一款高性能的时序数据库软件，非常适合用于构建数据仓库。它的高速存储和查询能力、优化的数据结构、完善的数据管理和处理功能，以及可靠的基础设施，使得TDengine成为数据仓库构建的理想选择。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值