- 博客(19)
- 收藏
- 关注
原创 本博客目录
1. 智慧城市1.1 大数据技术1.1.1 GeoMesaGeoMesa——概述GeoMesa-HBase操作篇——安装GeoMesa-HBase操作篇——教学案例(初体验)GeoMesa-HBase操作篇——Java API基本操作GeoMesa-HBase原理篇——最简demoGeoMesa-HBase原理篇——写入过程GeoMesa-HBase原理篇——序...
2019-04-10 18:19:01 712 1
原创 GIS实践篇——改写Ecql
目录1. Ecql概述2. FilterFactory体系3. 改写实践1. Ecql概述CQL(通用查询语言)是为OGC目录规范创建的纯文本语言。GeoServer已将其调整为易于使用的过滤机制。GeoServer实际上实现了一个名为ECQL(Extended CQL)的功能更强大的扩展,它允许表达OGC Filter1.1可以编码的所有过滤器。而geotools对...
2020-03-11 20:43:26 785
原创 Geomesa-SparkSQL源码篇——GeomesaSparkSQL类
1. Spark SQL的自定义外接数据源的方式Spark SQL是Spark用来处理结构化数据的一个模块,它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。而在真正开发过程当中,有时需要将自己定义的数据源来利用Spark sql进行上层接口的封装。针对这种情况,Spark Sql也有其扩展数据源的接口。本节以https://www.cnblogs.com/Qu...
2020-03-08 18:10:27 1253
原创 Geomesa-HBase实践篇——单列变多列
1. 改造的背景1.1 geomesa-hbase本身存在的问题Geomesa在向Hbase写入数据时,是通过HTable和Put对象来实现的。在写入的时候,需要指定列族名、列名和Cell的value值,而这些指定的内容都需要经过序列化才能进入到Hbase当中。在原生的GeoMesa当中,value值是将整个feature的所有信息都封装在一起,统一进行序列化的。虽然这样能够让存储的空...
2020-03-08 16:23:32 498
原创 Geomesa-HBase索引篇——Z3索引
目录1. 概述2. 原理2.1 概述2.2 分片存储机制2.3 Epoch Week机制2.4 时空索引机制2.5 Fid机制2.6 多个数据的封装3. 代码实现3.1 获取分片3.2 获取Epoch Week3.3 获取时空索引3.4 获取Fid3.5 多个数据的封装1. 概述在大量的场景当中,我们不仅仅需要进行时间的查询、...
2020-03-08 16:05:08 1949
原创 GeoMesa-HBase索引篇——理论准备
目录1. 数据标准化方法1.1 数据标准化的背景1.2 Max-Min标准化/极差标准化1.3 Z-score标准化/标准差标准化/零均值标准化2. GeoHash算法2.1 GeoHash概述2.2 GeoHash实现流程2.2.1 将经纬度转化为二进制编码2.2.2 合并经纬度数据为一个数据(生成莫顿码)2.2.3 按照base32编码集进行编码...
2019-04-12 10:16:11 1505
原创 GeoMesa-HBase索引篇——概述
目录1. GeoMesa索引简介2. 索引类型3. 传统空间索引方式4. GeoMesa时空索引机制原理4.1 建立时空索引4.2 Query Planning5. HBase DataStore的rowKey设计5.1 针对Point的时间+空间索引(Z3)5.2 针对Point的空间索引(Z2)5.3 针对复杂空间对象(如:LineString、P...
2019-04-11 10:04:37 3698
原创 GeoMesa-HBase原理篇——序列化机制
目录1.概述2 序列化流程2.1 流程概述2.2 基本流程2.2.1 SimpleFeatureType的序列化(1)序列化的引入阶段(2)序列化参数的配置(3)构造序列化器(1)序列化版本号和FeatureId(2)序列化各个属性值(3)序列化属性的偏移量(4)序列化用户设置的参数3. 序列化机制的配置方法3.1 序列化器的配置方法...
2019-04-10 19:05:07 2063
原创 GeoMesa-HBase原理篇——写入过程
目录1. 基本流程2. 数据预处理2.1 分析feature中的id2.2 Feature格式的转换2.3 确定分片3. Z曲线处理3.1 获取Z曲线的value值3.2 将时间信息利用Binned机制进行转换3.3 建立时空索引4. 数据序列化4.1 将数据封装成Long类型的数据4.2 利用mutator将key数据进行封装5. 写入H...
2019-04-10 15:48:49 4873 3
原创 GeoMesa-HBase原理篇——最简demo
为了更好地进行GeoMesa的测试,这里提供了一个最简化版本的Demo,同样,在之后章节里面可能会出现一些数据写入的例子,同样是以这个Demo为依据的。在这个Demo当中,只生成了一行数据,其中包括taxiId(String)、时间数据(Date)、空间数据(Point)、description(String),简化的数据可以加快实验速度。SimpleFeatureType的名称为index-...
2019-04-10 15:23:53 2436 3
原创 GeoMesa-HBase操作篇——Java API基本操作
目录1. 创建DataStore1.1 创建Option1.2 解析参数1.3 获取DataStore参数1.4 创建DataStore2. 创建SimpleFeatureType3. 创建schema4. 读取数据5. 写入数据查询数据6. 查询数据1. 创建DataStore1.1 创建Option由于之后的操作可能涉及到多个操作,因此...
2019-04-10 15:14:50 4400 5
原创 GeoMesa-HBase操作篇——教学案例(初体验)
目录1. 下载和编译2. 运行程序3. 运行结果3.1 输出结果3.2 HBase中的表结构1. 下载和编译下载:git clone https://github.com/geomesa/geomesa-tutorials.git cd geomesa-tutorials 查看pom.xml文件,修改hadoop和hbase版本,要和你已安装的版...
2019-04-10 14:16:26 3135 3
原创 GeoMesa-HBase操作篇——安装
目录1. 前期准备2. 下载和解压2.1 下载后直接解压2.2 下载后源码编译3. 修改配置信息3.1 在/etc/profile文件中配置(主要是为了操作方便)3.2 在GeoMesa本身的环境变量中设置3.3 在外部环境中配置环境变量4. 部署GeoMesa-HBase分布式运行jar5. 注册协处理器6. 设置命令行工具7. 执行测试...
2019-04-10 12:35:20 3131 1
原创 GeoMesa——概述
GeoMesa是一个开源的进行时空数据处理的工具包,可以支持大数据场景下的地理信息分析和分布式计算。个人认为是一个比较有前景的开源框架,能够为物联网等场景提供强有力的技术支撑。一方面,GeoMesa基于已有的GIS开源框架Geotools,可以进行一些地理学方面的空间数据的处理;另一方面,GeoMesa也能够支持比较成熟的大数据框架进行数据的处理、存储和计算。例如:HBase、Spark等。除...
2019-04-10 10:42:45 7639 1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人