ELK Stack
小胖/老吴
至今为止全面主持或主要负责的地理信息项目及科研项目多达20多项,参与完成项目荣获国家科技进步二等奖1项,省部级科技进步奖2项,省部级工程类奖项7项,在《测绘科学》等期刊公开发表论文6篇,申请国家专利4项。
展开
-
Elasticsearch的Mapping介绍
Mapping是定义一个文档以及文档包含的字段如何存储和索引的过程。每个文档是一些字段的集合,每个字段都有自己的数据类型(data type)。当映射数据(mapping data)的时候,我们其实就已经创建了一个映射定义(mapping definition),这个映射定义中包含了一系列的跟文档一致的字段。一个映射定义中也定义了元数据字段,项“_source”字段。这些元数据字段用来规定一个文档相关的元数据是如何处理的。Elasticsearch支持动态映射和显式映射两种方式定义数据。在处理数据时,原创 2021-10-15 14:13:05 · 332 阅读 · 0 评论 -
Elasticsearch7.15中的Index APIs
Index APIs用来管理单个索引、索引配置、别名、映射以及索引模板。包含八类:索引模板(Index management)、映射管理(Mapping management)、别名管理(Alias management)、索引配置(Index settings)、索引模板(Index templates)、监测(Monitoring)、状态管理(Status management)、悬空索引(Dangling indices)。...原创 2021-09-30 16:30:17 · 185 阅读 · 0 评论 -
Elasticsearch7.15中的Get mapping API
Get mapping API请求语法(Request)先决条件路径参数<TARGET>查询参数allow_no_indicesexpand_wildcardsinclude_type_nameignore_unavailablelocalmaster_timeout举例三级目录用来检索一个或多个索引的映射定义(mapping definitions)。对数据流而言,这个API用来检索数据流的后备索引的映射关系。请求语法(Request)GET /_mappingGET /<tar原创 2021-09-30 16:16:40 · 593 阅读 · 0 评论 -
Elasticsearch7.15中的REST APIs
Elasticsearch7.15中的REST APIsIndex APIs请求语法(Request)先决条件Cat API二级目录三级目录Index APIs如果想让一个JSON文档能够被搜索到,必须使用“Index”系列API添加这个JSON文档到特定的数据流或是索引中。如果API语法中的target是一个索引,并且文档已经存在的话,这个请求会更新已存在文档的内容,同时增加版本号。请求语法(Request)PUT /<target>/_doc/<_id>POST /&l原创 2021-09-30 15:57:41 · 124 阅读 · 0 评论 -
Elasticsearch7.15学习笔记
Elasticsearch7.15学习笔记如何向Elasticsearch中增加数据Elasticsearch中存储的数据类别如何向Elasticsearch中增加数据可以向Elasticsearch中增加数据,增加的数据称之为文档(document),并且以JSON对象进行组织。Elasticsearch存储这些document在可以查询的索引中。对于时间系列的数据,比如日志和指标数据,我们往往会以数据流的形式来增加文档到Elasticsearch中,而这个数据流是由多个自动生成的后备索引组成的。原创 2021-09-30 13:54:27 · 184 阅读 · 0 评论 -
Elasticsearch中多类别空间查询的实现流程
空间数据从传统的关系型数据库同步到Elasticsearch中实现多类别要素空间查询的实现流程如下:1.确定坐标系:根据应用场景确定Elasticsearch中存储的空间数据的坐标系类型。2.坐标转换:如果数据源与Elasticsearch中的坐标系不一致,需要将数据源的坐标转换为目标坐标系。3.格式转换:将各种格式的空间数据,如Shapefile、Geodatabase等转换为GeoJSON或WKT结构组织的数据文件。4.建立索引模板(Index template):Elasticsearch按照原创 2021-04-09 17:41:08 · 399 阅读 · 0 评论 -
Elasticsearch中的字段数据类型
Elasticsearch中的字段数据类型如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入字段数据类型(Field data type,field type):也称为之为字段类型,每个字段都有一个字段数据类型。字段数据类型用来标识字段所含数据的类型,比如字符串、bool值等。我们可以将字符串映射成tex原创 2021-04-08 14:06:16 · 396 阅读 · 0 评论 -
Elasticsearch7.4中Histogram aggregation(直方图聚合)
直方图聚合是一个用于评估数值型或是数值范围型价值的文档的多桶(multi-bucket)聚合,它可以对参与聚合的值动态生成固定尺寸的桶。比如,如果一些文档具有数值型字段“price”,我们可以配置聚合间隔为5(在价钱中可能为5元)来动态生成直方图统计。当聚合执行的时候,每个文档的price字段会参与估算,并且为四舍五入到最近的桶中。比如,如果一个文档的price字段值为32,桶的尺寸为5,并且字段...原创 2019-12-19 16:49:36 · 1120 阅读 · 0 评论 -
在logstash7.4中实现不同来源数据输出到Elasticsearch的指定索引中
需求分析logstash可以采集不同来源、不同格式的数据,经过清洗、转换后统一存储到Elasticsearch中。为了区别不同来源的的数据,在Elasticsearch中可以分别建立索引。为了实现这个需求,需要在Logstash定义不同的数据源,根据数据源匹配对应的输出。需求实现1、首先在Elasticsearch中为不同来源的数据建立映射(mapping),定义每个字段的数据类型。2、其...原创 2019-12-18 13:29:42 · 1801 阅读 · 0 评论 -
Logstash7.4动态加载配置文件
从logst2.3开始,我们就可以把Logstash配置成动态监听配置文件修改、再加载配置文件功能。在启动logstash的时候使用命令行选项--config.reload.automatic(或是-r)就可以将logstash配置成动态更新配置信息。举个例子:bin/logstash -f apache.config --config.reload.automatic注意:当在命令行中...原创 2019-12-17 16:04:30 · 3009 阅读 · 0 评论 -
实时搜索引擎Elasticsearch7.4中的邻近矩阵聚合(Adjacency matrix aggregation)
邻近矩阵聚合(Adjacency matrix aggregation)返回一个邻近矩阵的表格。邻近矩阵聚合请求类似于filters聚合请求,需要提供一组命名的过滤表达式集合。返回的每个桶代表了相交过滤器矩阵的非空单元。比如提交的过滤器名称为A、B、C,那么返回的桶会向下面形式返回:像A&C这个相交的桶,用两个过滤器的名称组合进行标识,名称之间用“&”连接。从上面的表中,我们...原创 2019-12-17 15:15:19 · 705 阅读 · 0 评论 -
实时搜索引擎Elasticsearch7.4的Bucket聚合
实时搜索引擎Elasticsearch7.4提供了4大家族的聚合方式,包括metrics聚合、bucket聚合、matrix聚合以及pipeline聚合。bucket聚合集不像指标聚合集(metrics aggregations)基于字段计算指标值,他们会生成数桶文档(buckets of documents)。每一桶都和一项规则(由聚合类型决定)对应,这些规则决定了在当前上下文(in the ...原创 2019-12-17 13:52:42 · 408 阅读 · 0 评论 -
Elasticsearch7.4中的Geo Bounds聚合
Geo Bounds聚合是一种指标聚合,用来计算能够包含所有地理坐标点(geo_point)的边界多边形。POST /museums/_search?size=0{ "query" : { "match" : { "name" : "musée" } }, "aggs" : { "viewport" : { "ge...原创 2019-12-17 09:53:16 · 586 阅读 · 0 评论 -
Elasticsearch7.4中加权平均聚合
Elasticsearch7.4中的Weighted Avg aggregation(加权平均聚合)也是一种单一值指标聚合,通过提取参与统计的文档中的数值进行加权平均计算而得。这些获取的数值可以是参与聚合文档的某个指定字段的值,也可以通过脚本计算而得。当计算一般的平均数时,每个参与计算的数值具有相等的权重,也就是对最后的结果影响是一样多的。而加权平均数计算时,每个数值的权重不相同。每个参与聚合的...原创 2019-12-16 17:39:04 · 1157 阅读 · 0 评论 -
Elasticsearch7.4中的avg指标聚合
指标聚合(Metrics Aggregations)一个是以各种方式(in one way or another)从正在参与聚合的文档中提取值进行指标计算的聚合分析家族。这些值通常从文档的字段中提取,或是由脚本生成。数值型指标聚合一种输出数值的特定类型的指标聚合,输出一个数值的聚合称为single-value numeric metrics aggregation(单一数值指标聚合),生成多个数...原创 2019-12-16 14:43:24 · 678 阅读 · 0 评论 -
Elasticsearch7.4中的聚合分析介绍
Elasticsearch7.4提供的集合分析框架可以基于一个查询检索结果进行聚合分析。可以通过简单的类似于积木的聚合组件,拼搭、组合成复杂的数据统计功能。一个聚合组件(aggregation)可以看成是针对文档的集合进行分析的一个工作单元。执行的上下文定义了文档集合的内容(比如,一个top-level 聚合在查询检索中执行的query或filter上下文中执行。)Elasticsearch7...原创 2019-12-16 13:05:34 · 294 阅读 · 0 评论 -
Logstash7.4在Centos7上的安装
安装环境:CentOS Linux release 7.5.1804安装方式:单机本地安装本机IP:192.168.100.156本机计算机名:logstash安装路径:/usr/local/logstash-7.4.2ELK Static官方提供了多种安装logstash的方式,本文是通过下载Linux的tar.gz包后进行本地安装。Kibana不能在root用户下运行,在启动Kib...原创 2019-12-10 16:10:42 · 1375 阅读 · 0 评论 -
Kibana7.4.2常见问题之 Request Entity Too Large
错误代码403错误信息Payload content length greater than maximum allowed 1048576问题再现在kibana7.4.2的console中,利用Bulk进行批量操作GIS数据,文件大小为1.84Mb,全都是index操作。总共16条记录。问题分析:取其中的内容最长的一条记录进行测试,能够正常插入。取其中的13条记录进行操作,提示一样的...原创 2019-11-27 11:27:29 · 5035 阅读 · 1 评论 -
Elasticsearch7.4.2常见问题之index_not_found_exception
问题再现 刚安装好Elasticsearch7.4.2,基本保持默认配置不变,在kibana7.4.2的DevTool中使用“PUT /test_01/_doc/1”命令时,提示index_not_found_exception错误。问题分析 这是因为Elasticsearch默认安装时禁用了自动创建索引的功能。在action.auto_create_index选项中没有配置test_...原创 2019-11-27 11:23:51 · 13300 阅读 · 0 评论 -
批量导入GIS数据到Elasticsearch中
GIS数据是指地理信息系统行业按照点、线、面等几何形状保存的矢量格式的数据,一般有通用的Shapefile数据、ESRI通过SDE保存在数据中的数据、Geodatabase数据、MAPGIS、SuperMap数据等。ELK Stack套件中的Logstash可以实现从关系型数据库同步到Elasticsearch中,但是初始GIS数据往往涉及数量大、记录条数多等特点,研究如何将几亿、几十亿条记录快...原创 2019-11-27 10:00:48 · 712 阅读 · 0 评论 -
kibana7.4.2安装
安装环境:CentOS Linux release 7.5.1804安装方式:单机本地安装本机IP:192.168.100.157本机计算机名:Kibana安装路径:/usr/local/Kibana-7.4.2ELK Static官方提供了多种安装Kibana的方式,本文是通过下载Linux的tar.gz包后进行本地安装。Kibana不能在root用户下运行,在启动Kibana之前必...原创 2019-11-26 16:12:45 · 1850 阅读 · 0 评论 -
Elasticsearch7.4.2中Shape和Geo-Shape的区别
Elasticsearch7.4.2新增了Shape字段数据类型(Field datatype),属于一种特殊化的数据类型,用于表示任意的笛卡尔坐标的几何图形,也就是直角坐标系下的几何坐标。Shape类型和Geo-Shape需要区分清楚,Geo-Shape和Geo-point一起属于地理数据类型,Geo-shape用以表示复杂图形,比如多边形、矩形等,Geo-point表示经纬度的坐标点,只支持...原创 2019-11-26 14:06:45 · 1508 阅读 · 0 评论 -
Elasticsearch7.4.2生产模式设置
Elasticsearch7.4.2生产模式设置Elasticsearch7.4.2安装好后默认是开发模式,基本上不用设置就可以满足开发测试需求,但是从开发模式转换为生产模式时,必须更改一些必要设置才能正常启动,包括max file descriptors,max virtual memory,discovery.seed_hosts、discovery.seed_providers、clust...原创 2019-11-26 08:50:16 · 517 阅读 · 0 评论 -
Elasticsearch7.4.2安装
Elasticsearch7.4.2安装一、 什么是ELK二、 什么是ELK Stack三、 下载地址四、 Elasticsearch 安装一、 什么是ELK 那么,ELK 到底是什么呢? “ELK”是三个开源项目的首字母缩写,这三个项目分别是:Elasticsearch、Logstash 和 Kibana。Elasticsearch 是一个搜索和分析引擎。Logstash 是服务器端数据...原创 2019-11-25 10:15:26 · 1610 阅读 · 0 评论