elk
elk
Dongguabai
这个作者很懒,什么都没留下…
展开
-
关于 ES 别名索引的几个测试
结论:删除别名索引,对应关联索引的数据也会被删除; 别名索引不能新增数据数据:dgb_test1索引:dgb_test2索引数据:建立别名:删除别名数据索引:然后两个关联索引数据都没了:直接在别名索引新增数据会报错:...原创 2022-03-01 23:39:18 · 294 阅读 · 0 评论 -
kibana去重统计和分组统计
新建可视化统计选择数据表格展现方式选择数据源去重统计举例:这里统计的是24小时内,请求config路径返回401的手机号数量数据筛选条件 数据时间段条件 Aggregation:统计类型,选择 unique Count,去重统计 Field: 统计字段,这里统计手机号 执行统计操作 显示统计结果分组统计举例:在上面的基础上,对请求版本字段进行分组基于上面一个的手机号去重统计结果,也可以不需要。 分组统计指标 Aggregation:聚合类型,选转载 2021-11-25 10:58:45 · 3544 阅读 · 0 评论 -
每天学习一点点之简单使用 Kibana 进行可视化分析
地址:每天学习一点点之简单使用 Kibana 进行可视化分析之前一直没怎么用过 Kibana,前段时间跟着组内大佬学习了不少 Kibana 的用法,这里就做个总结和记录https://mp.weixin.qq.com/s?__biz=MzU1OTgyMDc3Mg==&mid=2247484912&idx=1&sn=4355b83c29b617e11f5271a7b5a0975a&chksm=fc103f7bcb67b66dd64e05b24beebc8c638410ace原创 2021-11-09 13:55:23 · 212 阅读 · 0 评论 -
IK 分词器字典热加载实现思路
记得前几年在上一家公司基于 Solr 做搜索服务的时候,也是有 IK 分词器词库自动更新的场景,当时是在 CSDN 上花钱下了个可以从数据库自动更新词库的 JAR 包。碰巧最近也有朋友遇到了相似了问题,这次决定自己研究下,不花钱。本文 IK 分词器版本:6.x,Elasticsearch 版本:6.6.2。源码地址:https://gitee.com/dongguabai/ik-hotIK 分词器是一款非常优秀的开源中文分词。也可以配置自定义词库:<properties> <.原创 2021-08-27 22:06:27 · 978 阅读 · 0 评论 -
搭建elsticsearch集群 报错with the same id but is a different node instance解决办法
搭建elsticsearch集群的时候,先用windows 10和 ubuntu 16.04试了一下,发现可以。然后将虚拟机里的ubunut复制一份,然后一直报错如下:[2017-08-30T15:17:40,016][INFO ][o.e.d.z.ZenDiscovery ] [pros-node-2] failed to send join request to master [{pros-node-1}{Dhq0h4IHS6GF4MgFwc1Vhw}{w8mXRXG6S6qvSnjH转载 2021-07-20 01:07:24 · 300 阅读 · 0 评论 -
ES6启动controller_log_20402 (No such file or directory)异常处理
ES版本:elasticsearch-6.6.2。异常信息如下:Caused by: java.io.FileNotFoundException: /var/folders/vw/tym744gx2lj1frhvxppj7hzh0000gn/T/elasticsearch-2906249357576857446/controller_log_20402 (No such file or directory) at java.io.FileInputStream.open0(Native Met.原创 2021-07-19 16:30:57 · 377 阅读 · 0 评论 -
ElasticSearch 7.4.2 Root mapping definition has unsupported parameters
新建索引PUT people{ "settings":{ "number_of_shards":3, "number_of_replicas":1 }, "mappings":{ "man":{ "properties":{ "name":{ "type":"text" },转载 2021-02-02 09:56:08 · 738 阅读 · 0 评论 -
记一次elasticsearch错误(SearchPhaseExecutionException: all shards failed)
一、问题logstash突然无法对elasticsearch服务进行读写操作了,提示elasticsearch的地址有问题,检测elasticsearch发现端口存在。查看日志发现有报错。二、问题原因有一些索引的数据损坏了三、解决官网文档:https://www.elastic.co/guide/cn/elasticsearch/guide/cn/_cluster_health.html1、查看索引信息curl -XGET 'http://localhost:9200/_clust转载 2020-11-11 18:57:02 · 9494 阅读 · 0 评论 -
Elasticsearch 解决只能查询10000条数据方案
es官方默认限制索引查询最多只能查询10000条数据,查询第10001条数据开始就会报错:Result window is too large, from + size must be less than or equal to但是很多时候10000数据不能满足项目的需求,所以我们就要解除这个限制。解决方案:第一种办法.在kibana中执行,解除索引最大查询数的限制put _all/_settings { "index.max_result_window":200000 }_转载 2020-11-02 21:53:46 · 7528 阅读 · 0 评论 -
Elasticsearch7.2 深度分页实现(查询全部数据)
用过es的朋友应该都了解es的分页模式总共有两种,一种是from,size模式,也就是常说的浅分页,这种分页模式使用起来很简单,和mysql的十分类似,但是这种方式的最大弊端是,在集群模式下,如果查询的分页数很深,很容易造成查询效率极慢甚至内存的异出的问题,解决这个问题就要提到深分页,深分页的大概思路是每一页查询会给你返回一个scrollId,类似于一个游标,记录本次查询的位置,下次使用这个有游标再去查下一页的数据,所有不会出现跨度大,查询数据多导致溢出的问题,但是它也有一个弊端就是不支持跳页。还有就是es转载 2020-10-29 09:18:47 · 1915 阅读 · 1 评论 -
Elasticsearch Field Options Norms
Elasticsearch 定义字段时Norms选项的作用本文介绍ElasticSearch中2种字段(text 和 keyword)的Norms参数作用。创建ES索引时,一般指定2种配置信息:settings、mappings。settings 与数据存储有关(几个分片、几个副本);而mappings 是数据模型,类似于MySQL中的表结构定义。在Mapping信息中指定每个字段的类型,ElasticSearch支持多种类型的字段(field datatypes),比如String、Numeric转载 2020-10-27 15:44:17 · 504 阅读 · 1 评论 -
Spring Data Elasticsearch 动态索引配置
spring-data-elasticsearch 支持@Document(indexName = {javaConfig.property})方式配置索引名称,下面看具体配置:application.yml配置自定义属性index-namespring: data: elasticsearch: cluster-name: myescluster cluster-nodes: ip1:9300, ip2:9300, ip3:9300 index转载 2020-10-23 14:02:01 · 2366 阅读 · 0 评论 -
Elasticsearch 存储日期格式字段
elasticsearch创建index之后,可以设置mapping,如果mapping中没有设置date的format,那么默认为两种格式:date_optional_time此格式为ISO8601标准示例:2018-08-31T14:56:18.000+08:00epoch_millis也就是时间戳 示例1515150699465, 1515150699利用spring data elasticsearch插入日期格式数据的时候,一定要注意日期格式的转换,除此之外,还有日期时间存储的时...转载 2020-10-23 13:56:17 · 5057 阅读 · 2 评论 -
Elasticsearch7.1 保存报错: Validation Failed: 1: type is missing;
如果按照下面的方式更改了依赖仍然有问题,可以直接指定一下 type:-------------------------------elasticsearch7.1保存时报错:org.elasticsearch.action.ActionRequestValidationException: Validation Failed: 1: type is missing; at org.elasticsearch.action.ValidateActions.addValidationErro转载 2020-10-21 12:28:36 · 13719 阅读 · 0 评论 -
Elasticsearch 安装 IK 分词器
相关文章:32 位 CentOS 6.7 安装 Elasticsearch 7(单机)下载地址:https://github.com/medcl/elasticsearch-analysis-ikclone 下来:➜ IdeaProjects git clone https://github.com/medcl/elasticsearch-analysis-ik.git 正克隆到 'elasticsearch-analysis-ik'...remote: Enumerating obj原创 2020-10-15 12:56:50 · 137 阅读 · 0 评论 -
Elasticsearch 之删除索引
1、 #删除指定索引# curl -XDELETE -u elastic:changeme http://localhost:9200/acc-apply-2018.08.09{"acknowledged":true} 2、#删除多个指定索引,中间用逗号隔开# curl -XDELETE -u elastic:changeme http://localhost:9200/acc-apply-2018.08.09,acc-apply-2018.08.10 3、#模糊匹...转载 2020-10-14 17:29:17 · 3027 阅读 · 0 评论 -
安装 Kibana
相关文章:32 位 CentOS 6.7 安装 Elasticsearch 7(单机)要注意的是 Kibana 最好与 ES 版本要契合。下载地址:https://www.elastic.co/fr/downloads/kibana修改config/kibana.yml 配置文件:修改为当前服务器 IP 和 ES 所在 IP。Kibana 默认启动端口是 5601。启动 Kibana:[root@MiWiFi-R4CM-srv config]# cd ../bin/[.原创 2020-10-14 17:26:22 · 1440 阅读 · 0 评论 -
32 位 CentOS 6.7 安装 Elasticsearch 7(单机)
CentOS 版本:[root@MiWiFi-R4CM-srv elasticsearch]# lsb_release -a LSB Version: :base-4.0-ia32:base-4.0-noarch:core-4.0-ia32:core-4.0-noarch:graphics-4.0-ia32:graphics-4.0-noarch:printing-4.0-ia32:printing-4.0-noarchDistributor ID: CentOSDes原创 2020-10-13 18:26:26 · 1410 阅读 · 0 评论