![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Elasticsearch
文章平均质量分 82
Lv_Jin_Gang
有较强的抗压能力,擅长高并发、海量数据的治理
展开
-
elasticsearch系列三:常用查询语法
前几篇我们介绍了如何在es中存储数据,如何更加合理的存储数据,今天我们来说下常用的查询语法,如何实现mysql中的等于、大于、小于、and 、or、in等方式。基本常用的查询语法都说了下,在给大家分享一个经验,通过java操作es的时候如果不熟悉api,可以基于kibana自动提示功能基本可以实现基本语法,然后根据kibana中的语法摸索出来java中API,好了咱们今天先到这,下期咱们看下如何更好的运维es集群。原创 2024-05-06 13:29:59 · 292 阅读 · 0 评论 -
elasticsearch系列八:如何解决聚合结果不精确问题
不知道大家有没有尝试上篇中所用的一些聚合查询,或者项目开发中有没有用过,我们会发现这些聚合几乎都是近似值,有些和我们预想的结果偏差较大。这是什么原因导致的呢?咱们开始揭秘。原创 2023-12-28 15:57:40 · 719 阅读 · 0 评论 -
elasticsearch系列七:聚合查询
今天咱们来看下es中的聚合查询,在es中聚合查询分为三大类bucket、metrics、pipeline,每一大类下又有十几种小类,咱们各举例集中,有兴许的同学可以参考官网:https://www.elastic.co/guide/en/elasticsearch/reference/7.10/search-aggregations.html 本次基于es7.10.2版本编写。原创 2023-12-28 16:02:43 · 1368 阅读 · 0 评论 -
elasticsearch系列六:索引重建
我们再起初创建索引的时候由于数据量、业务增长量都并不大,常常不需要搞那么多分片或者说某些字段的类型随着业务的变化,已经不太满足未来需求了,再或者由于集群上面索引分布不均匀导致节点直接容量差异较大等等这些情况,此时我们就需要重建索引。原创 2023-12-28 16:03:41 · 1067 阅读 · 0 评论 -
elasticsearch系列五:集群的备份与恢复
前几篇咱们讲了es的语法、存储的优化、常规运维等等,今天咱们看下如何备份数据和恢复数据。在传统的关系型数据库中我们有多种备份方式,常见有热备、冷备、全量+定时增量备份、通过开发程序备份等等,其实在es中是一样的。官方建议采用snapshot方式进行备份与恢复(它是有点冷备的意思,采用直接物理copy的方式,适合大数据量情况下),民间开源的有elasticsearch-dump方式进行备份但是这种方式只适用于小数据量的情况下,它是基于scroll语法进行的备份操作。原创 2023-12-28 16:06:18 · 2667 阅读 · 1 评论 -
elasticsearch系列四:集群常规运维
在使用es中如果遇到了集群不可写入或者部分索引状态unassigned,明明写入了很多数据但是查不到等等系列问题该怎么办呢?咱们今天一起看下常用运维命令。我们想要更好的使用es不能只注意查询语法的书写,需要全访问的深入的了解es,建议从头到尾过一遍官方文档,毕竟只有目前最了解孩子。Elasticsearch系列经典文章elasticsearch列一:索引模板的使用elasticsearch系列二:引入索引模板后发现数据达到一定量还是慢怎么办?elasticsearch系列三:常用查询语法。原创 2023-12-28 16:09:10 · 1304 阅读 · 0 评论 -
elasticsearch系列九:异地容灾-CCR跨集群复制
起初只在部分业务中采用es存储数据,在主中心搭建了个集群,随着es在我们系统中的地位越来越重要,数据也越来越多,针对它的安全性问题也越发重要,那如何对es做异地容灾呢?今天咱们就一起看下官方提供的解决方案cross-cluster replication(简称ccr)。原创 2023-12-28 15:54:45 · 2179 阅读 · 0 评论 -
elasticsearch系列二:引入索引模板后发现数据达到一定量还是慢怎么办?
他的关系就好比mysql的主从一样,我向来提倡不要试图通过增加mysql的从节点来提高检索效率(会带来各种问题,首先同步延时就是大问题,即便是半同步模式遇到高并发更新的时候也会有一定的同步延时),通过引入缓存,合理使用索引,分库分表等来解决这个问题,从节点只用来保证高可用。上篇我们说到通过引入索引模板可以有效的应对各种新增需求,降低存储成本,提升检索效率,但是呀随着时间的推移,集群承载的数据量越来越大,导致检索越来越慢,今天我们就一起看下这种情况下如何处理。经过上述一些优化后我们的性能大有提升啊。原创 2023-12-28 16:12:41 · 438 阅读 · 0 评论 -
elasticsearch列一:索引模板的使用
近期一直在负责es这块,就想着和大家分享一些使用经验,我们从存储、查询、优化、备份、运维等几个方面来做分享。今天咱们先看下如何更加合理的存储数据。要想深入了解一个技术还是官方文档啊,毕竟只有官方最了解自己的产品。希望接下来一段时间我们一起跟着官方文档深入学习es。原创 2023-12-28 16:14:43 · 771 阅读 · 0 评论 -
logstash之ruby模块
最近二期开始上线了,一直没顾上写博客,今天忙里偷闲写一篇关于logstash的,项目引入elk有半年多了,由于日志记录的错综复杂.之前解析都是通过ruby进行字符串分割实现,但是这个月对日志记录这块做了调整,全部采用json方式记录.这样一来logstash解析日志这块就的重新实现.json嵌套了2层,如果直接用json进行格式化,es中会有冗余字段,所以只能人工解析json,话不多说...原创 2019-10-11 17:35:54 · 6508 阅读 · 3 评论 -
ES生产优化建议
直接进入主题 生产环境中首先进行节点角色的划分,当集群出现问题时可以快速进行数据恢复 master node , Data node ,coordinate node .ingestznode各节点作用如下: master node 主要用户集群的轻量级的管理工作,比如索引的创建删除,追...原创 2019-05-09 14:38:45 · 490 阅读 · 0 评论 -
Elasticsearch 底层存储原理解密
好久没写博客了,今天闲来无事,剖析下Elasticsearch,es最近这几年异常的火爆,其开箱即用,天然支持分布式的特性越来越受到欢迎,目前笔者所在的公司主要用es存储日志类型的信息. 闲话不多说,默认有es相关的基础,当客户端想es的shard中写入数据的时候,过程大致如下: 客户端通过路由节点到达指定的shard分片,es的shard地...原创 2019-05-09 11:23:24 · 4172 阅读 · 0 评论