GeoMesa
别和硬盘比记忆
这个作者很懒,什么都没留下…
展开
-
GeoMesa-Kafka
GeoMesa KafkaGeoMesa 2.3.0和2.3.1支持kafka 0.9之后的版本,但是对于kafka1.0之前的版本有些特性不支持GeoMesa 2.2.X支持的kafka版本相同。一、GeoMesa Kafka安装1、直接从github上下载最新版本(2.3.1)进行安装。github地址:<https://github.com/locationtech/geom...原创 2019-10-28 11:48:06 · 1130 阅读 · 1 评论 -
GeoMesa命令行工具----创建命令
创建Simple Feature Types一、可通过以下方式定义Simple Feature Types:1、已经存在classpath中的SimpleFeatureType 的名2、规定的字符串3、配置(不常用)4、包括规定的字符串或配置的文件的文件名(不常用)二、加载Classpath 中的Simple Feature Typesgeomesa会默认加载reference.co...原创 2019-06-23 17:33:58 · 399 阅读 · 0 评论 -
GeoMesa命令行工具---分析命令
stats-bounds显示或计算schema中属性的边界参数描述-c, --catalog *存放schema 元数据的catlog表-f, --feature-name *schema名-q, --cqlcql语句-a, --attributes指定需要计算边界的属性–no-cache不使用缓存进行统计默认情况下,将显示**预计算...原创 2019-06-23 17:36:10 · 652 阅读 · 0 评论 -
GeoMesa命令行工具---查询和导出命令
convertconvert命令用于直接将一种格式的数据转换成另一种格式。例如,它可以用于将CSV文件转换为GeoJSON。参数描述-f, --feature-nameschema名-s, --spec要创建的SimpleFeatureType的说明-C, --converter用于创建SimpleFeatures的转换器–converter-err...原创 2019-06-23 17:42:24 · 3584 阅读 · 0 评论 -
GeoMesa命令行工具---摄取命令
delete-features:从schema中删除特定的features。参数描述-c, --catalog *包含schema元数据的catalog表-f, --feature-name *schema的名称-q, --cqlCQL过滤器用来选择要删除的featuresingest:ingest命令可以将多种格式的文件作为数据源,并将其转换为...原创 2019-06-23 17:45:02 · 866 阅读 · 0 评论 -
GeoMesa命令行工具---Schema 命令
create-schema参数描述-c, --catalog *用于保存schema元数据的catalog 表-s, --spec *要创建的SimpleFeatureType说明-f, --feature-name要创建的schema的名称–dtg要用于默认日期字段的属性注:--spec参数可以是以下任意一种:a.属性字符串,例如n*am...原创 2019-06-23 17:51:03 · 837 阅读 · 0 评论 -
GeoMesa Hbase安装
hbase版本为1.3.x or 1.4.x.去github上下载二进制源码# download and unpackage the most recent distribution:$ wget "https://github.com/locationtech/geomesa/releases/download/geomesa_2.11-$VERSION/geomesa-hbase_2.1...原创 2019-06-23 19:33:20 · 677 阅读 · 0 评论 -
GeoMesa Hbase 配置
geomesa.hbase.config.paths添加hbase配置文件的路径,多个用逗号分隔geomesa.hbase.remote.filtering禁用远程过滤。远程过滤和协处理器可以加快查询速度,但是需要在HBase中安装定制jar。如果没有配置这些jar的话可以将该值设置为falsegeomesa.hbase.wal.durabilityhbase的WAL设置,当需要更高...原创 2019-06-24 09:28:58 · 630 阅读 · 0 评论 -
GeoMesa HBase DataStore创建方式
编程方式需要在ClassPath中加入hbase-site.xml这个配置文件也可以通过hbase.zookeepers这个参数来代替hbase-site.xml配置文件(不推荐)DataStore创建:Map<String, Serializable> parameters = new HashMap<>();parameters.put("hbase.cata...原创 2019-06-24 10:02:08 · 1204 阅读 · 0 评论 -
GeoMesa Hbase命令行工具
Hbase可以使用共有的其他命令,以下为Hbase特有的命令:bulk-ingest批量摄取获取数据并写入到hfile(Hbase是以HFILE的形式存储的),适合批量加载到集群中。写入脱机hfile而不是直接写入正在运行的集群可以减少集群上的负载,并避免昂贵的数据压缩。批量摄取必须作为map/reduce作业运行。因此,要确保输入文件存在于HDFS中。在运行批量摄取时,需要确保输入的数...原创 2019-06-24 10:32:40 · 837 阅读 · 0 评论 -
GeoMesa HBase其他
Hbase数据压缩在创建新的SimpleFeatureType时,可以对数据进行压缩。有效的压缩类型有snappy、lzo、gz、bzip2、lz4或zstd。SimpleFeatureType sft = ....;sft.getUserData().put("geomesa.table.compression.enabled", "true");sft.getUserData().pu...原创 2019-06-24 10:51:11 · 446 阅读 · 0 评论 -
GeoMesa FSDS
说明它利用列格式,支持数据压缩和基于列的编码,从而实现高效的OLAP查询。这使用户能够通过使用弹性计算资源来代替专用服务器来实现成本节约。列存储,支持数据压缩和基于列的编码,实现高效的OLAP查询GeoMesa FSDS( FileSystem data store)可以运行在任何分布式或本地文件系统之上,包括Amazon 3、Hadoop HDFS、谷歌FileStorage和Azure ...原创 2019-06-24 16:43:41 · 1042 阅读 · 0 评论 -
GeoMesa命令行工具---环境和状态命令
命令行工具一、环境和状态命令1.classpath:显示运行时类路径。2.env:显示类路径上可用的SimpleFeatureTypes和GeoMesa转换器。参数描述-s, --sfts描述一个特定的SimpleFeatureType-c, --converters描述一个特定的转换器–describe-sfts描述所有SimpleFeature...原创 2019-06-18 17:25:54 · 411 阅读 · 0 评论 -
GreoMesa(6)
一、移动数据可以将simple features保存为Avro文件。$ geomesa-accumulo export ... -f mySft --format avro --gzip 6 -o myFeatures.avro要将数据重新导入到另一个环境中,可以使用ingest命令。$ geomesa-accumulo ingest ... -f mySft myFeatures.av...原创 2019-06-18 09:20:42 · 169 阅读 · 0 评论 -
GeoMesa(5)
一、 Feature 抽样如果有5 个features,抽取10%的话,则可能抽出1、2、3、4、5个(不少于10%)QueryHints.SAMPLING:值为0-1之间的小数(float)QueryHints.SAMPLE_BY:值为属性名import org.locationtech.geomesa.index.conf.QueryHints// returns 10% of f...原创 2019-06-17 22:20:59 · 755 阅读 · 0 评论 -
GeoMesa(2)
配置项一、geomesa.audit.provider.impl — 指定查询审核的全限定类名通过将geomesa.query.audit设置为true来在创建DataStore时来启用查询审核二、geomesa.convert.config.urls – 指定转换器的地址,多个之间使用逗号分隔三、geomesa.convert.scripts.path – 向classpath添加文件,...原创 2019-06-17 16:17:05 · 860 阅读 · 0 评论 -
GeoMesa(3)
一、查询计划查询计划是将GeoTools的查询(Query )转换为底层数据扫描和筛选的过程。几个步骤:1、CQL过滤器(如果有的话)被重写并优化,以实现快速评估2、CQL过滤器根据可用的索引进行拆分3、选择一个可用索引来执行查询4、逻辑查询计划由核心的GeoMesa索引代码创建5、为特定的后端数据库创建物理查询计划在GeoMesa中,逻辑查询计划通常由一个“主”CQL过滤器(用于确...原创 2019-06-17 17:13:06 · 622 阅读 · 0 评论 -
GeoMesa(4)
查询配置一、设置查询提示查询提示可以通过两种方式设置——编程方式或通过GeoServer请求。1.编程方式import org.geotools.data.Query;Query query = new Query("typeName");query.getHints().put(key, value);2.GeoServer请求通过修改URL中的查询参数(viewparams...原创 2019-06-17 18:13:01 · 341 阅读 · 0 评论 -
GeoSpark
GeoMesa SparkGeoMesa Spark最底层为geomesa-spark-jts模块geomesa-spark-core模块是spark core的扩展,支持支持geotools的Query,生成系列化好的simplefeature类型的rddgeomesa-spark-sql模块允许使用sql方式进行查询,会将sql语句转换为Query对象进行查询Spark JTSSpa...原创 2019-06-21 19:24:48 · 1327 阅读 · 0 评论 -
GeoSparkSQL Function
sparkSQL函数Geometry 创建1. st_box2DFromGeoHash:Geometry st_box2DFromGeoHash(String geohash, Int prec)st_geomFromGeoHash的别名2.st_geomFromGeoHash:Geometry st_geomFromGeoHash(String geohash, Int prec)...原创 2019-06-21 22:23:16 · 1818 阅读 · 0 评论 -
GeoMesa(1)
一、创建SimpleFeatureTypes方式import org.locationtech.geomesa.utils.geotools.SimpleFeatureTypesSimpleFeatureTypes.createType("example", "name:String,dtg:Date,*geom:Point:srid=4326")二、支持的数据类型最后一列为是否可以...原创 2019-06-16 13:35:09 · 1784 阅读 · 1 评论