- 博客(14)
- 收藏
- 关注
原创 ES运维(一)解决集群变红问题--reindex的妙用
最近遇到一个问题,因为ES集群磁盘超过90%水位线,集群再接受数据,所以也就无法进行磁盘分配,于是不得已,开始更换大容量的硬盘,(此处省略剧情以及应对磁盘写满的各种提前动作),但操作中意外导致集群变红,意味着存在主分片无法分配出去.通过 一下API定位未分配问题GET _cluster/allocation/explain主要问题是:1、磁盘已超过90%的水位线,2、有节点中途丢失(这也是集群变红的直接促成原因),3、索引是只读和允许删除状态因为我们已经更换了两个节点磁盘,剩下三个节点磁盘空间都在9
2021-10-22 10:52:41
821
原创 ES集群内部、外部通信加密以及身份认证
前言本章主要实操如何对ES集群进行身份认证和用户鉴权以及ES集群内部之间,集群外部通信加密。一、身份认证为ES添加身份认证和用户鉴权(RBAC),7.X以后的ES版本可以免费试用Xpack的基础功能。1、首先确保在ES的yml文件中启用了xpack。security.enabled为true,即在elasticsearch.yml中添加以下一行xpack.security.enabled:true2、重启ES,可能会报错提示xpack.security.transport.ssl.enable
2021-05-08 17:47:58
1467
1
原创 第三章 Elasticsearch基础入门知识
第三章 Elasticsearch基础入门知识前言这一章,主要介绍ES的Mapping常规设置、数据类型,多字段属性以及分词器一、Mapping常见设置Mapping可以理解为定义表的结构,字段类型,以及采用何种分词器。Mapping的主要作用1、定义字段的名字2、定义字段的类型3、定义倒排索引相关的配置(是否被索引、聚合、采用哪种analyzer)4、Dynamic Mapping有true、false、strict三种设置模式Mapping 中的字段一旦设定后,禁止直接..
2021-04-28 10:55:43
130
原创 第二章ElasticSearch基本查询入门
系列文章目录第一章 Elastic入门基础概念以及基本操作文章目录系列文章目录前言一、泛查询&指定字段查询总结前言这一章主要介绍基本查询,例如,什么是泛查询、指定字段查询,phrase查询、分组查询、多字段查询、query_sring查询,simple_query_string查询等一、泛查询&指定字段查询泛查询指定是:查询时没有指定字段,这时ES会检索索引中的每一个字段,去匹配结果。指定字段查询是:查询时指定那个字段(也可以是多个字段),限定ES查询的范围。
2021-03-31 20:02:34
345
原创 第一章 Elastic入门基础概念以及基本操作
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一、基本概念索引(index)文档(doc)集群(cluster)节点(node)分片(shard)段(segment)二、基本操作CRUD基本API总结前言这一节主要讲述ES的一些基本概念,例如:索引、文档、集群、节点、分片、段、副本等以及,ES的基本操作包括CRUD和基础API使用一、基本概念索引(index)索引(index)在ES中可以抽象的理解一张表,一类数据的聚集,它通过Mapping来定义数据结构,
2021-03-23 19:48:57
902
原创 Elasticsearch7.2版本以上集群搭建
ElasticSearch(以下简称ES)7.0之前的版本在集群搭建时需要考虑那脑裂的问题,但是7,0以后无需在这方面进行专门设置,集群会通过内部决策选举机制选出合适的master。ES在 7,0版本前后在discover上有些变化,但是7.X依然兼容6.X的配置ES6.8重要关键配置:discovery.zen.ping.unicast.hosts: ["node1","node2","node3"]discovery.zen.minimum_master_nodes:2ES7.X重要
2021-03-18 19:48:06
486
原创 ELK集群搭建最佳实践
我们的需求是存储全国上万多家电厂的海量日志,所以一开始我们调研elasticsearch在海量日志收集、处理、存储、分析方面有着独一无二的优势,比如部署简单、架构简单又是分布式、可以水平伸缩扩展。所以我们毫不犹豫选择了elk来搭建我们的海量日志架构。接下怎么做就相对简单了,我就分享一下我们在搭建ELK集群的实践经验。安装镜像准备elasticsearch的安装包有tar包、rpm包,就开箱即用原则、tar包的二次手动配置工作较多,有一定的门槛,rpm包相对简单,但是我们选择了另外一种方...
2020-12-29 20:00:27
562
原创 在资源有限情况下解决生产环境下ES集群之间数据同步的问题
在资源有限情况下解决生产环境下ES集群之间数据同步的问题先简单介绍一下我我司生产环境下的ES集群情况,一共四个集群,集群之间逻辑网络隔离。业务人员平时查询数据,需要登录每个集群的Kibana挨个进行查询。现在的需求能不能在一界面可以完成所有就集群数据的查询。版本一:跨集群搜索这种场景首先想到就是CCS(跨集群搜索),但是目前集群互相ping不通,首先解决这个问题,方法就是,修改四个集群每个节点的IP地址(修改子网掩码),使他们在同一网段,能够ping通。然后在kibana的界面直接配置CCS。步骤 k
2020-12-07 19:28:46
1136
原创 Elasticsearch快照部署到Hadoop-HDFS
es支持快照,其远程仓库可以部署在本地共享文件系统下,也可部署异地其他文件系统,比如今天要讲的Hadoop-hdfs上,增进尝试部署在本地文件目录下,首先要部署共享文件系统、还要解决每个节点上用户和用户组的UUID不一致的问题,在生产环境下ES少则5个几点,多则上百个节点,其工作量、复杂度以及后期维护还是相当麻烦的,相对而言,将远程仓库部署到hdfs上、工作量、可维护性以及复杂度,还是优势多多。
2020-09-29 16:56:53
647
原创 Logstah同步elasticsearch数据到hdfs
最近由于服务器故障,导致部分数据丢失,由于我们当初将数据备份到ES上,现在需要将丢失数据从ES上同步hdfs上,这里我使用Logstash作为数据同步工具。 整体思路是:第一步,拿到最后一次数据发送到hdfs上时间戳(这里我是通过impala查询到的)。第二步,拿到最后一次时间戳,去es上把丢失数据搜出来。第三步,直接追加到hdfs上文件里。中间,还要对数据做一些处理,增加一些字段。 具体配置如下:input { elasticsearc...
2020-06-12 17:33:33
977
2
原创 Elasticsearch你应当知道的那些细节(1-15)
elk 就是 elasticsearch(约定简称es)、logstash、kibana的简称,es 是一款开源、分布式、高性能、可拓展、近实时的搜索分析引擎,logstash 是一款配置灵活的ETL工具,有丰富的插件,足以满足实际生产中绝大数需求,而kibana则是es的最佳搭档,可以快速对es中的数据进行探索,可视化展示。从今天起,我通过我在工作中实际经历,来发现elk的一些细节问题
2020-05-30 18:11:35
292
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人