GeoMesa-空间数据存储引擎入门学习手册

最新推荐文章于 2024-08-22 08:30:38 发布
最新推荐文章于 2024-08-22 08:30:38 发布
阅读量5.2k 收藏 44
点赞数 6
分类专栏： 前端技术 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a772304419/article/details/116268316
版权

GeoMesa-空间数据存储引擎

geomesa简介、架构体系、数据存储、spark等

在这里插入图片描述

第一部分：GeoMesa简介

  • GeoMesa是一款开源的基于分布式计算系统的⾯面向海海量量时空数据查询与分析的⼯工具包

  • GeoMesa基于GeoToolsAPI进⾏行行设计，与GeoServer等进⾏行行集成提供OGC标准的服务。

在这里插入图片描述

  • ⽀支持多种可扩展的、基于云端的数据存储架构，包括ApacheAccumulo,HBase，Cassandra，Google Bigtable，以及⽤用于流计算的Apache Kafka 。

在这里插入图片描述

  • 提供了了Spark，并增加了了正对空间数据的UDT、UDF和UDAF，⽅方便便⽤用户直接使⽤用SparkSQL进⾏行行空间数据查询与分析。

  • Git 地址：https://github.com/locationtech/geomesa。

  • Build地址：https://github.com/locationtech/geomesa/releases

在这里插入图片描述

第二部分：GeoMesa架构体系

1：模块划分

在这里插入图片描述

2：时空索引-R树

  • 据R树的这种数据结构，当我们需要进行一个高维空间查询时，我们只需要遍历少数几个叶子结点所包含的指针，查看这些指针指向的数据是否满足要求即可。

在这里插入图片描述

  • Oracle Spatial、MySQL Spatial、PostgreSQL(PostGIS) 都是基于R树进行空 间搜索操作，即对空间字段(Geometry Column)创建R树索引。

  • R树存在的问题:

    1. 单独创建索引⽂文件
    2. 数据更更新问题：为了了达到平衡状态，新插⼊入数据需要更更新整个R树 。
    3. 不不适合NoSQL的结构
      HBase本身只提供基于⾏行行键和全表扫描的查询，⽽而⾏行行键索引单⼀一，对于多维度的查询困难。

3：GeoHash

1简介

GeoHash是一种地址编码方法。他能够把二维的空间经纬度数据编码成一个字符串。GeoHash具有以下特点：
1、GeoHash用一个字符串表示经度和纬度两个坐标。在数据库中可以实现在一列上应用索引
2、GeoHash表示的并不是一个点，而是一个区域；
3、GeoHash编码的前缀可以表示更大的区域。例如wx4g0ec1，它的前缀wx4g0e表示包含编码wx4g0ec1在内的更大范围。 这个特性可以用于附近地点搜索 。

2：GeoHash的计算过程：
1.将经纬度转换成二进制：

比如这样一个点（39.923201, 116.390705） 纬度的范围是（-90，90），其中间值为0。对于纬度39.923201，在区间（0，90）中，因此得到一个1；（0，90）区间的中间值为45度，纬度39.923201小于45，因此得到一个0，依次计算下去，即可得到纬度的二进制表示。

在这里插入图片描述

最后得到纬度的二进制表示为： 10111000110001111001
同理可以得到经度116.390705的二进制表示为： 11010010110001000100

2.合并纬度、经度的二进制：

合并方法是将经度、纬度二进制按照奇偶位合并： 1110011101001000111100000011010101100001

如下图：

在这里插入图片描述

3：按照Base32进行编码：

Base32编码表（其中一种）：

在这里插入图片描述

将上述合并后二进制编码后结果为： wx4g0ec1

3：特点：
  • 字符串越长，表示的范围越小越精确;字符串长度越小，表示的范围越大越宽泛。
  • 字符串越相似表示距离越相近。

在这里插入图片描述

4：GeoMesa时空索引

1：各种空间填充曲线

fill-line.png

2：空间查询
  1. 用户定义查询窗口
  2. 层次划分
  3. 计算查询范围(Range)

在这里插入图片描述

3：GeoMesa时空索引

GeoMesa使用了基于Z-order填充曲线的GeoHash空间索引技术，
并针对时间维度进行了扩展，具体分为:
• Z2:空间，点索引
• Z3:时间+空间，点索引
• XZ2:空间，线\面索引
• XZ3:时间+空间，线\面索引。

在这里插入图片描述

git实现：https://github.com/locationtech/sfcurve

​ https://github.com/locationtech/geomesa/tree/master/geomesa-z3

5：GeoMesa HBase 索引

  1. RowKey设计

在这里插入图片描述

  • 属性索引
    在这里插入图片描述

  • Z-Index Shards: 预拆分，范围为1-127，默认为4。
    在这里插入图片描述

  • Z-Index Time Interval
    在这里插入图片描述

  1. 查询：

    • 可以按照属性查询
    • 可以按照空间范围查询
    • 可以按照时间查询
    • Geomesa会综合选择一种最快的查询方式执行

在这里插入图片描述

第三部分：GeoMesa 数据存储

1：数据结构

SimpleFeatureType：空间数据结构描述，包含空间WKT、时间信息、属性信息等。

import org.locationtech.geomesa.utils.interop.SimpleFeatureTypes;
SimpleFeatureTypes.createType("example", "name:String,dtg:Date,*geom:Point:srid=4326");

属性类型

Attribute TypeBindingIndexable
Stringjava.lang.StringYes
Integerjava.lang.IntegerYes
Doublejava.lang.DoubleYes
Longjava.lang.LongYes
Floatjava.lang.FloatYes
Booleanjava.lang.BooleanYes
UUIDjava.util.UUIDYes
Datejava.util.DateYes
Timestampjava.sql.TimestampYes
Pointorg.locationtech.jts.geom.PointYes
LineStringorg.locationtech.jts.geom.LineStringYes
Polygonorg.locationtech.jts.geom.PolygonYes
MultiPointorg.locationtech.jts.geom.MultiPointYes
MultiLineStringorg.locationtech.jts.geom.MultiLineStringYes
MultiPolygonorg.locationtech.jts.geom.MultiPolygonYes
GeometryCollectionorg.locationtech.jts.geom.GeometryCollectionYes
Geometryorg.locationtech.jts.geom.GeometryYes
List[A]java.util.ListYes
Map[A,B]java.util.Map<A, B>No
Bytesbyte[]No

第四部分：GeoMesa Hbase应用

1：Geomesa Hbase操作

2：GeoServer集合 Geomesa

Geomesa实现了GeoTools接口，提供了基于HTTP，方法和标准OGC服务的访问形式。

在这里插入图片描述

数据查询流程

在这里插入图片描述

第五部分：Geomesa Spark

在这里插入图片描述

1：geomesa-spark-jts ：基于Spark 的JTS控件库。

依赖包：

<dependency>
  <groupId>org.locationtech.geomesa</groupId>
  <artifactId>geomesa-spark-jts_2.11</artifactId>
</dependency>

从文件系统读取

import org.locationtech.jts.geom._
import org.apache.spark.sql.types._
import org.locationtech.geomesa.spark.jts._

import spark.implicits._

val schema = StructType(Array(
  StructField("name",StringType, nullable=false),
  StructField("pointText", StringType, nullable=false),
  StructField("polygonText", StringType, nullable=false),
  StructField("latitude", DoubleType, nullable=false),
  StructField("longitude", DoubleType, nullable=false)))

val dataFile = this.getClass.getClassLoader.getResource("jts-example.csv").getPath
val df = spark.read
  .schema(schema)
  .option("sep", "-")
  .option("timestampFormat", "yyyy/MM/dd HH:mm:ss ZZ")
  .csv(dataFile)

val alteredDF = df
  .withColumn("polygon", st_polygonFromText($"polygonText"))
  .withColumn("point", st_makePoint($"latitude", $"longitude"))

构造df

import spark.implicits._
val point = new GeometryFactory().createPoint(new Coordinate(3.4, 5.6))
val df = Seq(point).toDF("point")

2：geomesa-spark-core：基于Geotools实现的Spark核心库，将空间数据转换为RDD。

// DataStore params to a hypothetical GeoMesa Accumulo table
val dsParams = Map(
  "accumulo.instance.id"   -> "instance",
  "accumulo.zookeepers"    -> "zoo1,zoo2,zoo3",
  "accumulo.user"          -> "user",
  "accumulo.password"      -> "*****",
  "accumulo.catalog"       -> "geomesa_catalog",
  "geomesa.security.auths" -> "USER,ADMIN")

// set SparkContext
val conf = new SparkConf().setMaster("local[*]").setAppName("testSpark")
val sc = SparkContext.getOrCreate(conf)

// create RDD with a geospatial query using GeoMesa functions
val spatialRDDProvider = GeoMesaSpark(dsParams)
val filter = ECQL.toFilter("CONTAINS(POLYGON((0 0, 0 90, 90 90, 90 0, 0 0)), geom)")
val query = new Query("chicago", filter)
val resultRDD = spatialRDDProvider.rdd(new Configuration, sc, dsParams, query)

resultRDD.collect
// Array[org.opengis.feature.simple.SimpleFeature] = Array(
//    ScalaSimpleFeature:4, ScalaSimpleFeature:5, ScalaSimpleFeature:6,
//    ScalaSimpleFeature:7, ScalaSimpleFeature:9)

包括SimpleFeatures、 Multiple backends （Accumulo, HBase, FileSystem, Kudu, GeoMesa Convert library转换后文件系统, 其他 GeoTools 数据源）

3：geomesa-spark-sql：基于SparkSQl 的空间查询库

// DataStore params to a hypothetical GeoMesa Accumulo table
val dsParams = Map(
  "accumulo.instance.id"   -> "instance",
  "accumulo.zookeepers"    -> "zoo1,zoo2,zoo3",
  "accumulo.user"          -> "user",
  "accumulo.password"      -> "*****",
  "accumulo.catalog"       -> "geomesa_catalog",
  "geomesa.security.auths" -> "USER,ADMIN")

// Create SparkSession
val sparkSession = SparkSession.builder()
  .appName("testSpark")
  .config("spark.sql.crossJoin.enabled", "true")
  .master("local[*]")
  .getOrCreate()

// Create DataFrame using the "geomesa" format
val dataFrame = sparkSession.read
  .format("geomesa")
  .options(dsParams)
  .option("geomesa.feature", "chicago")
  .load()
dataFrame.createOrReplaceTempView("chicago")

// Query against the "chicago" schema
val sqlQuery = "select * from chicago where st_contains(st_makeBBOX(0.0, 0.0, 90.0, 90.0), geom)"
val resultDataFrame = sparkSession.sql(sqlQuery)

resultDataFrame.show
/*
+-------+------+-----------+--------------------+-----------------+
|__fid__|arrest|case_number|                 dtg|             geom|
+-------+------+-----------+--------------------+-----------------+
|      4|  true|          4|2016-01-04 00:00:...|POINT (76.5 38.5)|
|      5|  true|          5|2016-01-05 00:00:...|    POINT (77 38)|
|      6|  true|          6|2016-01-06 00:00:...|    POINT (78 39)|
|      7|  true|          7|2016-01-07 00:00:...|    POINT (20 20)|
|      9|  true|          9|2016-01-09 00:00:...|    POINT (50 50)|
+-------+------+-----------+--------------------+-----------------+
*/

第六部分：Cassandra应用

1：Cassandra config

spring.data.cassandra.cluster-name=Test Cluster
spring.data.cassandra.keyspace-name= user_space
spring.data.cassandra.contact-points=127.0.0.1
spring.data.cassandra.port=9042

2：run test

java -cp geomesa-tutorials-cassandra/geomesa-tutorials-cassandra-quickstart/target/geomesa-tutorials-cassandra-quickstart-2.4.0-SNAPSHOT.jar org.geomesa.example.cassandra.CassandraQuickStart --cassandra.contact.point 127.0.0.1:9042 --cassandra.keyspace geomesa --cassandra.catalog sample_table

3：output

bin/geomesa-cassandra export --output-format leaflet --contact-point 127.0.0.1:9042 --key-space geomesa --catalog sample_table

第七部分：其他应用

1：GeoMesa Kafka DataStore

•使⽤用Kafka作为数据存储DataStore
•通过GeoTools DataStore标准接⼝口进⾏行行访问

•Consumer与Producer可以分布在不不同server

•⽀支持要素缓存，定时写⼊入kafka

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ENViAIoI-1619677430713)(resource/kafka.png)]

2：GeoMesa Lambda DataStore

  • 数据存储在两个层:transienttier(Kafka)和 a persistent tier(HBase)

  • 数据定时写⼊持久层

  • 使⽤用ZK同步数据缓存状态，保证数据一次写⼊

  • 进⾏行行数据查询会从两个存储层分别进⾏， 然后合并查询结果返回给⽤用户。

在这里插入图片描述

学亮编程手记
关注
专栏目录
1. GeoMesa学习流程篇
GIS摆渡人
09-25 705
一.简介 整体分为四个大部分，分别为Spark基础篇，Scala基础篇，GeoMesa基础篇和GeoMesa进阶篇。 Spark基础篇 主要讲解Spark的核心知识，不会对Spark进行详细介绍，Spark作为GeoMesa的底层框架，掌握是必不可少的。 Scala基础篇 GeoMesa是Scala预言编写，所以对Scala的掌握必不可少 GeoMesa基础篇 主要讲解GeoMesa的场景用法。 GeoMesa进阶篇 进阶GeoMesa的高级用法。 二.学习流程 geomesa整体介绍 可伸缩, 大规模，
GeoMesa 详细介绍
热门推荐
GIS摆渡人
12-30 1万+
GeoMesa 1. GeoMesa 概述 GeoMesa 是开源的基于分布式计算系统的面向海量时空数据查询与分析的工具包，它支持多种可扩展的、基于云端的数据存储架构，包括Apache Accumulo, HBase，Cassandra，Google Bigtable，以及用于流计算的Apache Kafka 。同时GeoMesa还可以和Apache Storm一起处理流数据，并使用Spark进行...
GeoMesa 开源项目完全指南
最新发布
gitblog_00731的博客
08-22 232
GeoMesa 开源项目完全指南 geomesaGeoMesa is a suite of tools for working with big geo-spatial data in a distributed fashion.项目地址:https://gitcode.com/gh_mirrors/ge/geomesa 项目介绍 GeoMesa 是一个高级地理空间数据管理框架，专为大规模地理空...
时空大数据引擎-GeoMesa
鬼马行天的博客
04-12 659
GeoMesa是一个开源的地理空间分布式数据库解决方案，它提供了在Apache Hadoop、Apache HBase、Apache Cassandra、Google Bigtable、Amazon DynamoDB和Cloud Bigtable等大数据平台上存储、索引和查询大规模地理空间数据的能力。GeoMesa提供了一个强大的工具集来帮助开发者和数据科学家存储、查询和分析大规模的时空数据集，它通过利用现代大数据技术解决了传统GIS系统在处理大规模数据时的瓶颈。社交媒体数据的地理空间分析。
GeoMesa——概述
在渊的杂物堆
04-10 7627
GeoMesa是一个开源的进行时空数据处理的工具包，可以支持大数据场景下的地理信息分析和分布式计算。个人认为是一个比较有前景的开源框架，能够为物联网等场景提供强有力的技术支撑。 一方面，GeoMesa基于已有的GIS开源框架Geotools，可以进行一些地理学方面的空间数据的处理；另一方面，GeoMesa也能够支持比较成熟的大数据框架进行数据的处理、存储和计算。例如：HBase、Spark等。除...
Geomesa中文学习文档和案例分析
04-12
Geomesa中文学习文档和案例分析，涵盖Geomesa主要知识点
Geomesa学习资料整理
qq_42245531的博客
04-20 566
GeoMesa-HBase部署实践来自 <https://www.giserdqy.com/?p=15495> GeoMesa-HBase部署实践来自 <https://blog.csdn.net/xiaof22a/article/details/80215787> GeoMesa源码学习 (2)：创建Schema并导入数据来自 <https://blog.csd...
geomesa-hbase安装包
10-19
Geomesa作为一个开源的分布式地理空间数据存储系统，为处理大规模地理空间数据提供了强大的工具。特别是针对HBase这种高性能、分布式的NoSQL数据库，Geomesa-HBase的集成，使得地理空间数据的查询和分析变得更为高效...
geomesa-learn-example.zip
09-25
GeoMesa提供了一种灵活的数据模型，允许用户以Shapefile格式存储地理空间数据，同时支持本地文件、HDFS（Hadoop分布式文件系统）、HBase分布式表格存储以及Amazon S3云存储等多种数据源。这种多样化的数据存储能力...
geomesa-tutorials:使用GeoMesa的教程和示例
04-30
GeoMesa教程和示例 有关，请参见官方的GeoMesa。
geomesa使用命令行插入数据
04-18
geomesa插入数据，除了使用代码实现外，还可以使用geomesa-hbase ingest 命令行实现
java大型项目源码下载-geomesa:GeoMesa是一套以分布式方式处理大地理空间数据的工具
06-05
java大型项目源码下载 GeoMesa 是一个开源工具套件，可在分布式计算系统上实现大规模地理空间查询和分析。 GeoMesa 在 Accumulo、HBase、Google Bigtable 和 Cassandra 数据库之上提供时空索引，用于点、线和多边形数据的海量存储。 GeoMesa 还通过在 Apache Kafka 之上分层空间语义来提供时空数据的近实时流处理。 通过 GeoServer，GeoMesa 通过标准 OGC（开放地理空间联盟）API 和协议（如 WFS 和 WMS）促进与各种现有地图客户端的集成。 GeoMesa 支持 Apache Spark 进行自定义分布式地理空间分析。 GeoMesa 是 Eclipse 基金会工作组的成员。 加入社区 GeoMesa 和邮件列表 用于问题跟踪的 GeoMesa 文档 快速入门： | | | | | 下载 当前的版本： | | | | | | 验证下载 GitHub 上托管的下载包括 SHA-256 哈希和 gpg 签名（.asc 文件）。 要使用 gpg 验证下载，请导入相应的密钥： $ gpg2 --keyserv
geomesa空间大数据分析框架
03-06
**标题解析：** "geomesa空间大数据分析框架" 指的是Geomesa，一个开源的、分布式的地理空间数据存储和分析系统。它专为处理海量的空间数据而设计，利用现代大数据处理平台如Hadoop和Spark进行高效的数据管理和分析...
GeoMesa-Cassandra部署实践
xiaof22a的博客
05-06 1037
PrerequisitesBefore you begin, you must have the following installed and configured:Java JDK 1.8Apache Maven 3.2.2 or latera GitHub clienta Cassandra 3.x instance, either standalone or clustera Cassan...
Geomesa(一)基础介绍、定位
wangwg的专栏
09-11 3306
关于GeoMesa Geomesa是Apache协议的开源项目，用来处理地理数据的分布式基础引擎。但是Geomesa包含的东西有点多，官网乍一看乱七八糟的。但细看会发现多主要是由于数据源多导致的，其核心的模块就并不多，主要就geomesa-spark-core、geomesa-Spark JTS、geomesa-Spark Sql，在开发过程中发现起始用的最多的也就是geomesa-spark-core了 官网地址 Geomesa官网地址 https://www.geomesa.org/documenta.
Geomesa地理时空数据处理工具教程
m0_66279156的博客
06-01 458
地理时空数据处理
geomesa 空间分析
09-24
Geomesa 空间分析是一种基于地理空间数据的分析方法，它将地理空间数据与大数据技术相结合，旨在从海量的地理空间数据中提取有用的信息和知识。 首先，Geomesa 空间分析利用空间索引技术对地理空间数据进行高效存储和查询。地理空间数据通常具有海量的规模和复杂的结构，因此通过空间索引可以大大提高数据查询的效率，并且可以支持各种空间查询操作，如范围查询、邻近查询、交叉查询等。 其次，Geomesa 空间分析可以实现多种空间分析算法。通过使用Geomesa提供的空间分析函数和工具，可以对地理空间数据进行聚合分析、点线面数据关联分析、热力图生成、路径分析等操作。这些空间分析算法可以帮助我们挖掘数据之间的空间关联性，发现地理空间模式和异常，以及进行预测和决策。 此外，Geomesa 空间分析还支持空间数据可视化。通过将地理空间数据与地图相结合，可以直观地展示数据的分布和变化趋势。地理信息系统（GIS）可以通过Geomesa提供的API和工具进行地图制作、交互式分析和可视化展示，帮助我们更好地理解和解释地理空间数据。 综上所述，Geomesa 空间分析是一种利用地理空间数据进行高效存储、查询、分析和可视化的方法。它能够帮助我们从大数据中提取有价值的地理空间信息，并为地理空间决策提供支持。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

学亮编程手记

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值