- 博客(14)
- 收藏
- 关注
RSS订阅原创 ES运维（一）解决集群变红问题--reindex的妙用
最近遇到一个问题，因为ES集群磁盘超过90%水位线，集群再接受数据，所以也就无法进行磁盘分配，于是不得已，开始更换大容量的硬盘，（此处省略剧情以及应对磁盘写满的各种提前动作），但操作中意外导致集群变红，意味着存在主分片无法分配出去.通过 一下API定位未分配问题GET _cluster/allocation/explain主要问题是：1、磁盘已超过90%的水位线，2、有节点中途丢失（这也是集群变红的直接促成原因）,3、索引是只读和允许删除状态因为我们已经更换了两个节点磁盘，剩下三个节点磁盘空间都在9
2021-10-22 10:52:41
784
原创 ES集群内部、外部通信加密以及身份认证
前言本章主要实操如何对ES集群进行身份认证和用户鉴权以及ES集群内部之间，集群外部通信加密。一、身份认证为ES添加身份认证和用户鉴权（RBAC），7.X以后的ES版本可以免费试用Xpack的基础功能。1、首先确保在ES的yml文件中启用了xpack。security.enabled为true,即在elasticsearch.yml中添加以下一行xpack.security.enabled:true2、重启ES，可能会报错提示xpack.security.transport.ssl.enable
2021-05-08 17:47:58
1432
1
原创 第三章 Elasticsearch基础入门知识
第三章 Elasticsearch基础入门知识前言这一章，主要介绍ES的Mapping常规设置、数据类型，多字段属性以及分词器一、Mapping常见设置Mapping可以理解为定义表的结构，字段类型，以及采用何种分词器。Mapping的主要作用1、定义字段的名字2、定义字段的类型3、定义倒排索引相关的配置（是否被索引、聚合、采用哪种analyzer）4、Dynamic Mapping有true、false、strict三种设置模式Mapping 中的字段一旦设定后，禁止直接..
2021-04-28 10:55:43
118
原创 第二章ElasticSearch基本查询入门
系列文章目录第一章 Elastic入门基础概念以及基本操作文章目录系列文章目录前言一、泛查询&指定字段查询总结前言这一章主要介绍基本查询，例如，什么是泛查询、指定字段查询，phrase查询、分组查询、多字段查询、query_sring查询，simple_query_string查询等一、泛查询&指定字段查询泛查询指定是：查询时没有指定字段，这时ES会检索索引中的每一个字段，去匹配结果。指定字段查询是：查询时指定那个字段（也可以是多个字段），限定ES查询的范围。
2021-03-31 20:02:34
273
原创 第一章 Elastic入门基础概念以及基本操作
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、基本概念索引（index）文档（doc）集群（cluster）节点（node）分片（shard）段（segment）二、基本操作CRUD基本API总结前言这一节主要讲述ES的一些基本概念，例如：索引、文档、集群、节点、分片、段、副本等以及，ES的基本操作包括CRUD和基础API使用一、基本概念索引（index）索引（index）在ES中可以抽象的理解一张表，一类数据的聚集，它通过Mapping来定义数据结构，
2021-03-23 19:48:57
714
原创 Elasticsearch7.2版本以上集群搭建
ElasticSearch（以下简称ES）7.0之前的版本在集群搭建时需要考虑那脑裂的问题，但是7,0以后无需在这方面进行专门设置，集群会通过内部决策选举机制选出合适的master。ES在 7,0版本前后在discover上有些变化，但是7.X依然兼容6.X的配置ES6.8重要关键配置：discovery.zen.ping.unicast.hosts: ["node1","node2","node3"]discovery.zen.minimum_master_nodes:2ES7.X重要
2021-03-18 19:48:06
476
原创 ELK集群搭建最佳实践
我们的需求是存储全国上万多家电厂的海量日志，所以一开始我们调研elasticsearch在海量日志收集、处理、存储、分析方面有着独一无二的优势，比如部署简单、架构简单又是分布式、可以水平伸缩扩展。所以我们毫不犹豫选择了elk来搭建我们的海量日志架构。接下怎么做就相对简单了，我就分享一下我们在搭建ELK集群的实践经验。安装镜像准备elasticsearch的安装包有tar包、rpm包，就开箱即用原则、tar包的二次手动配置工作较多，有一定的门槛，rpm包相对简单，但是我们选择了另外一种方...
2020-12-29 20:00:27
525
原创 在资源有限情况下解决生产环境下ES集群之间数据同步的问题
在资源有限情况下解决生产环境下ES集群之间数据同步的问题先简单介绍一下我我司生产环境下的ES集群情况，一共四个集群，集群之间逻辑网络隔离。业务人员平时查询数据，需要登录每个集群的Kibana挨个进行查询。现在的需求能不能在一界面可以完成所有就集群数据的查询。版本一：跨集群搜索这种场景首先想到就是CCS（跨集群搜索），但是目前集群互相ping不通，首先解决这个问题，方法就是，修改四个集群每个节点的IP地址（修改子网掩码），使他们在同一网段，能够ping通。然后在kibana的界面直接配置CCS。步骤 k
2020-12-07 19:28:46
1112
原创 Elasticsearch快照部署到Hadoop-HDFS
es支持快照，其远程仓库可以部署在本地共享文件系统下，也可部署异地其他文件系统，比如今天要讲的Hadoop-hdfs上，增进尝试部署在本地文件目录下，首先要部署共享文件系统、还要解决每个节点上用户和用户组的UUID不一致的问题，在生产环境下ES少则5个几点，多则上百个节点，其工作量、复杂度以及后期维护还是相当麻烦的，相对而言，将远程仓库部署到hdfs上、工作量、可维护性以及复杂度，还是优势多多。
2020-09-29 16:56:53
623
原创 Logstah同步elasticsearch数据到hdfs
最近由于服务器故障，导致部分数据丢失，由于我们当初将数据备份到ES上，现在需要将丢失数据从ES上同步hdfs上，这里我使用Logstash作为数据同步工具。 整体思路是：第一步，拿到最后一次数据发送到hdfs上时间戳（这里我是通过impala查询到的）。第二步，拿到最后一次时间戳，去es上把丢失数据搜出来。第三步，直接追加到hdfs上文件里。中间，还要对数据做一些处理，增加一些字段。 具体配置如下：input { elasticsearc...
2020-06-12 17:33:33
909
2
原创 Elasticsearch你应当知道的那些细节（1-15）
elk 就是 elasticsearch（约定简称es）、logstash、kibana的简称，es 是一款开源、分布式、高性能、可拓展、近实时的搜索分析引擎，logstash 是一款配置灵活的ETL工具，有丰富的插件，足以满足实际生产中绝大数需求，而kibana则是es的最佳搭档，可以快速对es中的数据进行探索，可视化展示。从今天起，我通过我在工作中实际经历，来发现elk的一些细节问题
2020-05-30 18:11:35
265
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人