ElasticSearch
ElasticSearch
kamactor
八年一线运维维护管理经验,熟悉Linux系统相关知识,了解运维前沿技术和日常管理,熟悉及了解python/golang编程及数据库相关技。
展开
-
Elaticsearch软删除
原文https://www.elastic.co/guide/en/elasticsearch/reference/7.x/index-modules-history-retention.htmlindex.soft_deletes.enabled原创 2020-09-28 14:44:54 · 571 阅读 · 0 评论 -
Elasticsearch 启动预热
https://www.elastic.co/guide/en/elasticsearch/reference/7.x/preload-data-to-file-system-cache.html原创 2020-09-28 14:00:57 · 1804 阅读 · 0 评论 -
Elasticsearch深入聚合数据分析
Elasticsearch深入聚合数据分析原文:https://www.jianshu.com/p/dc8190c2a1e7原创 2020-09-27 09:04:39 · 156 阅读 · 0 评论 -
Elasticsearch慢日志配置
背景前面整理过一遍正确重启Elasticsearch 集群的文章,作为一个运维重启能解决的问题那必然是首选解决方案。不过如果经常靠重启解决问题未必就太Low了,而且重启多了势必会掩盖一些问题,问题积累严重了,导致重大故障也不少见。所以想成长为一个有深度的攻城狮,首先要学会的技能就是分析问题。经验分享下面分享下平时分析问题的一些经验核心:状态数据 日志一、状态数据(这块不细说)这块侧重指监控层面的数据,包括 主机(cpu、内存、磁盘等) 网络 进程(cpu、...原创 2020-06-15 14:51:28 · 737 阅读 · 0 评论 -
Docker 部署kibana7.7.0 使用xpack监控ES集群
Elasticsearch Kibana 7版本之后已经默认安装了xpack,无需独立安装插件。一、拉取镜像docker pull kibana:7.7.0二、启动容器docker run --name kibana -p 5601:5601 -d kibana:7.7.0三、配置访问Elasticsearchdocker exec -it /bin/bashvi config/kibana.yml## ** THIS IS AN AUTO-GENERATED FI...原创 2020-06-12 16:11:17 · 1389 阅读 · 0 评论 -
Elasticsearch集群状态查看常用指令
cat api使用curl http://localhost:9200/_cat?help=^.^=/_cat/allocation/_cat/shards/_cat/shards/{index}/_cat/master/_cat/nodes/_cat/indices/_cat/indices/{index}/_cat/segments/_cat/segments/{index}/_cat/count/_cat/count/{index}/_cat/r原创 2020-06-12 13:51:27 · 836 阅读 · 0 评论 -
正确重启Elaticsearch集群姿势
遇到的问题 日常维护Elaticsearch集群,难免会遇到要重启节点甚至重启集群的时候,重启后经常遇到数据恢复缓慢,甚至恢复失败。之前不明白重启过程中集群在干嘛,为了快速恢复某个异常节点往往直接重启集群,导致搜索业务下线。观察到的现象节点异常后,集群开始迁移异常节点数据分片到其它正常的节点上面,尝试自动恢复集群。如果这时候节点上面的数据量比较大,恢复缓慢是必然的(需要从正常节点把数据完整的复制过去,非常消耗服务器资源)。如果这时候还有写入索引操作,往往会影响分片的分配恢复(...原创 2020-06-12 11:33:19 · 334 阅读 · 0 评论 -
ES 线程池(thread pool)
ES 线程池(thread pool)ES 中每个节点有多种线程池,各有用途。重要的有:generic :通用线程池,后台的 node discovery,上述的分片恢复(node recovery)等等一些通用后台的操作都会用到该线程池。该线程池线程数量默认为配置的处理器数量(processors)* 4,最小128,最大512。 index :index/delete 等索引操作会用到该线程池,包括自动创建索引等。默认线程数量为配置的处理器数量,默认队列大小:200. search :查询请原创 2020-06-11 18:20:05 · 1505 阅读 · 0 评论 -
Elasticsearch DSL结构化查询理解
结构化查询 Query DSL结构化查询是一种灵活的,多表现形式的查询语言。 Elasticsearch 在一个简单的JSON 接口中用结构化查询来展现 Lucene 绝大多数能力。 你应当在你的产品中采用这种方式进行查询。它使得你的查询更加灵活,精准,易于阅读并且易于 debug。结构化查询格式GET /_search{ "query": {查询体}, "from": 0, "size": 10}查询体:由一个或多个查询子句组成。查询子句#整个属于查.原创 2020-06-11 15:59:45 · 160 阅读 · 0 评论 -
Elaticsearch DSL query查询与filter过滤
查询与过滤 首先我们要明确查询和过滤各自的优缺点,以及适用场景。 一条过滤语句会询问每个文档的字段值是否包含着特定值,查询语句会询问每个文档的字段值与特定值的匹配程度如何。这一点较好区分,一条查询语句会计算每个文档与查询语句的相关性,会给出一个相关性评分 _score,并且 按照相关性对匹配到的文档进行排序。 这种评分方式非常适用于一个没有完全配置结果的全文本搜索。性能上的差异 使用过滤语句得到的结果集 -- 一个简单的文档列表,快速匹配运算并存入内存是...原创 2020-06-10 18:04:19 · 493 阅读 · 0 评论 -
Elaticsearch force merge操作
ES force_merge操作实践:根据ES的写入原理分析,默认每秒从memory buffer里面搬运数据到filesystem cache,生产一个segments段,由后台程序定期分梯队进行合并(该部分原理还没深入研究),不过从查看到的segments数量,大小来看,默认的合并效果并不好,会出现很多小segments没有合并。根据操作系统的原理,一个索引打开太多的文件,势必会影响性能,ES也开放了相应的接口给用户对这些segments经行手动合并。查看索引segments状态$ ..原创 2020-06-10 17:50:02 · 3543 阅读 · 0 评论 -
Elasticsearch SearchType区别
Elasticsearch在查询时,可以指定搜索类型为QUERY_THEN_FETCH QUERY_AND_FEATCH DFS_QUERY_THEN_FEATCH DFS_QUERY_AND_FEATCH。那么这4种搜索类型有什么区别?1、QUERY_AND_FEATCH向索引的所有分片(shard)都发出查询请求,各分片返回的时候把元素文档(document)和计算后的排名信息一起返回。这种搜索方式是最快的。因为相比下面的几种搜索方式,这种查询方法只需要去shard查询一次。但是各.原创 2020-06-09 14:41:54 · 197 阅读 · 0 评论 -
Elaticsearch7.7 模版管理_索引管理
一、背景Elasticsearch发展实在太快,半年前ELK部署的V6.5,现在已经出到V7.7X。为了适应时代的发展,部署了下7.7.0。做了下索引管理(之前这块并不重视,顺便学习记录下)学习内容:定义创建模版 修改模版 重建索引 新增索引别名起因:索引字段属性缺乏fielddata属性,无法做聚合查询。二、创建mapping模版curl -H "Content-Type: application/json" -XPUT http://172.25.2.203:9200.原创 2020-06-09 14:31:08 · 311 阅读 · 0 评论 -
Logstash服务运行多实例
将logstash服务分离ELK集群部署的过程,在同一虚拟机上面运行多个logstash提示以下信息 Logstash could not be started because there is already another instance using the configured data directory. If you wish to run multiple instances, you must change the "path.data" setting ..原创 2020-06-01 13:57:08 · 1935 阅读 · 1 评论 -
Elasticsearch冷热数据分离集群-离线数仓方案
大数据存储方案预研,使用elasticsearch集群进行海量数据存储,并根据数据生产时间进行冷热数据分离,解决数据存储问题并保证实时查询的效率。参考架构:3.1部署规划(虚拟机搭建) 节点 服务部署 磁盘类型 Jvm内存分配 Master1(2核4G) Elasticsearch SATA 4G ...原创 2020-05-27 17:51:58 · 577 阅读 · 0 评论