在渊的杂物堆

原创 本博客目录

1. 智慧城市1.1 大数据技术1.1.1 GeoMesaGeoMesa——概述GeoMesa-HBase操作篇——安装GeoMesa-HBase操作篇——教学案例（初体验）GeoMesa-HBase操作篇——Java API基本操作GeoMesa-HBase原理篇——最简demoGeoMesa-HBase原理篇——写入过程GeoMesa-HBase原理篇——序...

原创 人物速写——20200413~20200419

原创 建筑速写——20200406~20200412

原创 建筑速写——20200330~20200405

原创 建筑速写——20200323~20200329

原创 GIS实践篇——改写Ecql

目录1. Ecql概述2. FilterFactory体系3. 改写实践1. Ecql概述CQL（通用查询语言）是为OGC目录规范创建的纯文本语言。GeoServer已将其调整为易于使用的过滤机制。GeoServer实际上实现了一个名为ECQL（Extended CQL）的功能更强大的扩展，它允许表达OGC Filter1.1可以编码的所有过滤器。而geotools对...

原创 Geomesa-SparkSQL源码篇——GeomesaSparkSQL类

1. Spark SQL的自定义外接数据源的方式Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。而在真正开发过程当中，有时需要将自己定义的数据源来利用Spark sql进行上层接口的封装。针对这种情况，Spark Sql也有其扩展数据源的接口。本节以https://www.cnblogs.com/Qu...

原创 Geomesa-HBase实践篇——单列变多列

1. 改造的背景1.1 geomesa-hbase本身存在的问题Geomesa在向Hbase写入数据时，是通过HTable和Put对象来实现的。在写入的时候，需要指定列族名、列名和Cell的value值，而这些指定的内容都需要经过序列化才能进入到Hbase当中。在原生的GeoMesa当中，value值是将整个feature的所有信息都封装在一起，统一进行序列化的。虽然这样能够让存储的空...

原创 Geomesa-HBase索引篇——Z3索引

目录1. 概述2. 原理2.1 概述2.2 分片存储机制2.3 Epoch Week机制2.4 时空索引机制2.5 Fid机制2.6 多个数据的封装3. 代码实现3.1 获取分片3.2 获取Epoch Week3.3 获取时空索引3.4 获取Fid3.5 多个数据的封装1. 概述在大量的场景当中，我们不仅仅需要进行时间的查询、...

原创 建筑速写——《夏克梁钢笔建筑画新作集》临摹

原创 GeoMesa-HBase索引篇——理论准备

目录1. 数据标准化方法1.1 数据标准化的背景1.2 Max-Min标准化/极差标准化1.3 Z-score标准化/标准差标准化/零均值标准化2. GeoHash算法2.1 GeoHash概述2.2 GeoHash实现流程2.2.1 将经纬度转化为二进制编码2.2.2 合并经纬度数据为一个数据（生成莫顿码）2.2.3 按照base32编码集进行编码...

原创 GeoMesa-HBase索引篇——概述

目录1. GeoMesa索引简介2. 索引类型3. 传统空间索引方式4. GeoMesa时空索引机制原理4.1 建立时空索引4.2 Query Planning5. HBase DataStore的rowKey设计5.1 针对Point的时间+空间索引（Z3）5.2 针对Point的空间索引（Z2）5.3 针对复杂空间对象（如：LineString、P...

原创 GeoMesa-HBase原理篇——序列化机制

目录1.概述2 序列化流程2.1 流程概述2.2 基本流程2.2.1 SimpleFeatureType的序列化（1）序列化的引入阶段（2）序列化参数的配置（3）构造序列化器（1）序列化版本号和FeatureId（2）序列化各个属性值（3）序列化属性的偏移量（4）序列化用户设置的参数3. 序列化机制的配置方法3.1 序列化器的配置方法...

原创 GeoMesa-HBase原理篇——写入过程

目录1. 基本流程2. 数据预处理2.1 分析feature中的id2.2 Feature格式的转换2.3 确定分片3. Z曲线处理3.1 获取Z曲线的value值3.2 将时间信息利用Binned机制进行转换3.3 建立时空索引4. 数据序列化4.1 将数据封装成Long类型的数据4.2 利用mutator将key数据进行封装5. 写入H...

原创 GeoMesa-HBase原理篇——最简demo

为了更好地进行GeoMesa的测试，这里提供了一个最简化版本的Demo，同样，在之后章节里面可能会出现一些数据写入的例子，同样是以这个Demo为依据的。在这个Demo当中，只生成了一行数据，其中包括taxiId（String）、时间数据（Date）、空间数据（Point）、description（String），简化的数据可以加快实验速度。SimpleFeatureType的名称为index-...

原创 GeoMesa-HBase操作篇——Java API基本操作

目录1. 创建DataStore1.1 创建Option1.2 解析参数1.3 获取DataStore参数1.4 创建DataStore2. 创建SimpleFeatureType3. 创建schema4. 读取数据5. 写入数据查询数据6. 查询数据1. 创建DataStore1.1 创建Option由于之后的操作可能涉及到多个操作，因此...

原创 GeoMesa-HBase操作篇——教学案例（初体验）

目录1. 下载和编译2. 运行程序3. 运行结果3.1 输出结果3.2 HBase中的表结构1. 下载和编译下载：git clone https://github.com/geomesa/geomesa-tutorials.git cd geomesa-tutorials 查看pom.xml文件，修改hadoop和hbase版本，要和你已安装的版...

原创 GeoMesa-HBase操作篇——安装

目录1. 前期准备2. 下载和解压2.1 下载后直接解压2.2 下载后源码编译3. 修改配置信息3.1 在/etc/profile文件中配置（主要是为了操作方便）3.2 在GeoMesa本身的环境变量中设置3.3 在外部环境中配置环境变量4. 部署GeoMesa-HBase分布式运行jar5. 注册协处理器6. 设置命令行工具7. 执行测试...

原创 GeoMesa——概述

GeoMesa是一个开源的进行时空数据处理的工具包，可以支持大数据场景下的地理信息分析和分布式计算。个人认为是一个比较有前景的开源框架，能够为物联网等场景提供强有力的技术支撑。一方面，GeoMesa基于已有的GIS开源框架Geotools，可以进行一些地理学方面的空间数据的处理；另一方面，GeoMesa也能够支持比较成熟的大数据框架进行数据的处理、存储和计算。例如：HBase、Spark等。除...