独行侠梦的博客

前言前面我们学习过，master节点的职责有：负责决定当前某个分片要分配到哪个节点上面。在节点间移动分片，保证集群的平衡。等等。分片分配-基于集群配置分片分配是指将分片分配到某个主机节点上的一个过程。触发的场景有：初始化恢复分片副本分配集群平衡集群节点加入或者移除分片的分配，对整个es集群有重要的影响，所以，如何熟悉控制它，是一个很重要的知识点。es集群提供设置...

前言logstash是一个开源带实时管道处理能力的数据收集处理引擎，不仅仅可以收集转换结构化数据，对非结构化数据也有强大的分析处理能力。pipeline三板斧logstash的管道包含三个部分，输入，过滤，输出,复杂的pipeline可能会有多个input输入，filter和多个ouput输出,可以使用命令-e参数行定义变量配置，使用配置文件定义复杂配置，通过参数f指定使用某个配置...

前言es用作海量数据和存储和检索，对于较大日志数据，如果全部存储在一个索引中，像数据库表一样，久而久之，检索查询会越来越慢，服务器压力也大。无论是按天分索引、还是按月份索引，一般建立索引的时候都带上时间。很明确的说，已经超过一定期限的索引，应该是不会再写入新数据了，可以强制进行合并压缩，设置只读等。对于搜索来说，合并的分片越少，查询和排序越快（想象一下深度分页。。。）我们的文档存储在分...

前言es在 6.8 和 7.1 版本后，核心安全功能（例如 TLS、文件和原生 Realm 身份验证，以及基于角色的访问控制）免费提供，如果使用的是高版本es则是开箱即用的，对于低版本的es安全功能是收费的，这里使用第三方的安全框架searchguard来加固低版本的es.但本次用es7.1.1来演示。网上容器化安装的资料很少，这里 记录一下使用docker来安装。所有操作均在考虑无外部网...

文章首发投稿至InfoQ,【侠梦的开发笔记】公众号，欢迎关注https://www.infoq.cn/article/t7b52mbzxqkwrrdpVqD2基本配置基本配置，5台配置为 24C 125G 17T 的主机，每台主机上搭建了一个elasticsearch节点。采用的elasticsearch集群版本为7.1.1。管理工具包括kibana和cerebro。...