![](https://img-blog.csdnimg.cn/0f49957c9a0f4395b1b8ee1b87316235.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Elastic Stack
文章平均质量分 90
以Elastic Stack(ELK)为主的学习记录笔记专栏。
大Null
Alias:一位木带感情的码农。
因CSDN过于商业化,博主已转战Github,所有资源均已迁移至Github个人网站,具体地址请查看详细资料。
展开
-
Elastic Stack日志分析(十五)- Elasticsearch在生产环境上的使用注意事项
目录1. Elasticsearch在Linux上的设置优化2. Elasticsearch在GC上的注意事项1. Elasticsearch在Linux上的设置优化内存方面 64 GB 是最理想化的,但是实际生产中 32 GB 和 16 GB 的服务器也很常见,少于 8GB 最好再和运维部门谈一谈资源的问题;如果你要在更快的 CPUs 和更多的核心之间选择,选择更多的核心更好。多个内核提供的额外并发远胜过稍微快一点点的时钟频率;如果公司负担得起 SSD,那么SSD 是一个好的选择,它的传输效率远原创 2022-03-14 14:12:45 · 3346 阅读 · 0 评论 -
Elastic Stack日志分析(十四)- Elasticsearch操作底层流程详解
目录1. Elasticsearch索引文档流程2. Elasticsearch更新和删除文档流程3. Elasticsearch搜索流程1. Elasticsearch索引文档流程协调节点默认使用文档 ID 参与计算(也支持通过 routing),以便为路由提供合适的分片:shard = hash(document_id) % (num_of_primary_shards);当分片所在的节点接收到来自协调节点的请求后,会将请求写入到 Memory Buffer,然后定时(默认是每隔 1 秒)写入原创 2022-03-14 10:28:33 · 177 阅读 · 0 评论 -
Elastic Stack日志分析(十三)- Elasticsearch集群脑裂解决方案
目录1. 什么是脑裂2. 脑裂产生的原因3. 脑裂问题解决方案1. 什么是脑裂 Elasticsearch 在主节点上产生分歧,产生多个主节点,从而使集群分裂,使得集群处于异常状态,这个现象叫做脑裂。脑裂问题其实就是同一个集群的不同节点对于整个集群的状态有不同的理解,导致操作错乱,类似于精神分裂。2. 脑裂产生的原因网络问题:集群间的网络延迟导致一些节点访问不到 master,认为 master 挂掉了从而选举出新的 master,并对 master 上的分片和副本标红,分配新的主分片;节点负原创 2022-03-08 17:24:42 · 1552 阅读 · 0 评论 -
Elastic Stack日志分析(十二)- Elasticsearch Master选举流程详解
Elasticsearch选举Master算法,Elasticsearch Master选举流程详解,Elasticsearch Master选举时间前提原创 2022-03-08 14:56:57 · 2027 阅读 · 0 评论 -
Elastic Stack日志分析(十一)- Elasticsearch性能优化方案总结
Elasticsearch写入速度优化方案;Elasticsearch分片策略;如何合理设置分片数;如何合理调整内存设置;批量数据提交;优化存储设备;合理使用合并;减少Refresh的次数;加大Flush设置;减少副本的数量;重要配置示例原创 2022-03-01 12:21:40 · 371 阅读 · 0 评论 -
Elastic Stack日志分析(十)- Elasticsearch数据路由详解
目录1. 文档存储如何路由到相应分片2. 路由算法1. 文档存储如何路由到相应分片 一个文档,最终会落在主分片的一个分片上,到底应该在哪一个分片?这就是数据路由。2. 路由算法 当我们创建文档时,它如何决定这个文档应当被存储在分片 1 还是分片 2 中呢?首先这肯定不会是随机的,否则将来要获取文档的时候我们就不知道从何处寻找了。实际上,这个过程是根据下面这个公式决定的:shard=hash(routing)%number_of_primary_shardsshard = hash(routi原创 2022-02-24 11:38:12 · 183 阅读 · 0 评论 -
Elastic Stack日志分析(九)- Elasticsearch文档并发冲突详解
Elasticsearch如何避免处理文档时并发冲突的问题,悲观锁、乐观锁的应用,基于 version 实现并发控制,version 控制版本号详解原创 2022-02-24 10:50:42 · 1384 阅读 · 0 评论 -
Elastic Stack日志分析(八)- Elasticsearch文档分析器详解
Elasticsearch IK 分词器的安装与使用,Elasticsearch内置分析器详解,分析器的构成,Elasticsearch自定义分析器教程实例,Elasticsearch如何指定分析器讲解原创 2022-02-23 17:14:47 · 518 阅读 · 0 评论 -
Elastic Stack日志分析(七)- Elasticsearch分片原理详解
Elasticsearch分片原理,倒排索引原理详解,Elasticsearch如何在保留不变性的前提下实现倒排索引的更新,Elasticsearch近实时搜索详解,Elasticsearch持久化变更事务日志translog详解,Elasticsearch段合并详解原创 2022-02-23 16:05:16 · 538 阅读 · 0 评论 -
Elastic Stack日志分析(六)- Elasticsearch工作流程详解
Elasticsearch写入请求工作流程,Elasticsearch读取数据工作流程,Elasticsearch更新数据工作流程,Elasticsearch多文档操作工作流程原创 2022-02-23 11:29:25 · 1198 阅读 · 0 评论 -
Elastic Stack日志分析(五)- Elasticsearch Windows集群部署教程
Elasticsearch在windows上的分布式集群搭建教程,Elasticsearch-head插件安装,集群测试是否正常通信,集群Cluster及节点Node相关概念原创 2022-02-22 14:51:57 · 418 阅读 · 0 评论 -
Elastic Stack日志分析(四)- Elasticsearch Java API操作详解
索引操作,文档操作,高级查询,查询所有索引数据,term查询,分页查询,数据排序,过滤字段,Bool 查询,范围查询,模糊查询,高亮查询,聚合查询,最大年龄查询,分组统计,创建索引,查看索引,删除索引,添加文档,修改文档,查询文档,删除文档,批量操作原创 2022-02-22 10:28:25 · 1146 阅读 · 2 评论 -
Elastic Stack日志分析(三)- Elasticsearch HTTP操作详解
RESTful详解,Postman客户端安装,Elasticsearch HTTP操作,Elasticsearch索引操作(增删改查),Elasticsearch文档操作(增删改查),Elasticsearch映射操作(增删改查),Elasticsearch高级查询示例,桶聚合查询,分页查询,高亮查询,多字段排序,单字段排序,模糊查询,范围查询,组合查询,过滤查询字段,指定查询字段,多关键字精确查询,关键字精确查询,字段匹配查询,匹配查询原创 2022-02-20 19:58:26 · 628 阅读 · 0 评论 -
Elastic Stack日志分析(二)- Elasticsearch入门及核心概念详解
Elasticsearch简介,什么是全文搜索引擎,Elasticsearch核心概念 VS 数据库核心概念,Elasticsearch系统架构,Elasticsearch VS Solr,Elasticsearch应用案例,Elasticsearch在windows上安装,Elasticsearch核心概念详解,索引(Index),类型(Type),文档(Document),字段(Field),映射(Mapping),分片(Shards),副本(Replicas),分配(Allocation)原创 2022-02-17 16:48:41 · 3139 阅读 · 0 评论 -
Elastic Stack日志分析(一)- ELK简介
目录1. Elastic Stack简介2. 组件介绍1. Elastic Stack简介 ELK 是包含但不限于Elasticsearch(简称 es)、Logstash、Kibana三个开源软件的组成的一个整体。这三个软件合成 ELK,是用于数据抽取(Logstash)、搜索分析(Elasticsearch)、数据展现(Kibana)的一整套解决方案,所以也称作 ELK stack。 ELK 是一个免费开源的日志分析架构技术栈总称,官网:https://www.elastic.co/cn。EL原创 2022-02-16 16:07:56 · 1327 阅读 · 0 评论