【Elasticsearch】ES 5.6.4源码解析---translog

最新推荐文章于 2022-11-25 14:33:37 发布
最新推荐文章于 2022-11-25 14:33:37 发布
阅读量183 收藏
点赞数
分类专栏： 大数据-Elasticsearch
原文链接：https://blog.csdn.net/qqqq0199181/article/details/86707389
版权
大数据-Elasticsearch 专栏收录该内容
561 篇文章 548 订阅 ¥79.90 ¥99.00
订阅专栏
本文主要探讨Elasticsearch 5.6.4版本中translog（事务日志）的实现原理。通过对源码的解析，详细阐述了translog在数据持久化和恢复过程中的关键角色，帮助读者深入理解Elasticsearch的数据安全机制。
摘要由CSDN通过智能技术生成
九师兄
关注
专栏目录
订阅专栏
八.Elasticsearch Translog
笔生花的博客
06-03 1207
目录 目录 1:什么是TransLog 2：Translog设置 2.1看官网： 2.1:优化的同时存在的风险 2.2网友的解释 1:什么是TransLog 对Lucene的更改只在Lucene提交期间持久化到磁盘，这是一个相对昂贵的操作，因此不能在每次索引或删除操作之后执行。当进程退出或硬件故障时，Lucene将从索引中删除一次提交之后和另一次提交之前发生的更改（也就是说...
elasticsearch源码分析之服务端（四）
thomas0yang的专栏
08-19 9033
一、服务端接收 1.1接收消息1.2主要类UML图 二、服务端处理 2.1索引的处理2.2写入primary2.3refresh2.4flush 上篇博客说明了客户端的情况，现在继续分析服务端都干了些啥，es是怎么把数据插进去的，此处以transport的bulk为入口来探究，对于单个document的发送就忽略了。 一、服务端接收 1.1接收消息
【Elasticsearch源码】写入源码分析（三）
wudingmei1023
01-11 9632
接上一篇：【Elasticsearch源码】写入源码分析（二）。 3.2.5 写主分片节点流程 代码入口：TransportReplicationAction.PrimaryOperationTransportHandler#messageReceived，然后进入AsyncPrimaryAction#doRun方法。 检查请求： 1.当前是否为主分片；2.allocationId是否是预期值；...
ES 5.6.4源码解析---translog
qqqq0199181的博客
01-30 2272
ES 中translog是存储于磁盘上的文件，每个ES分片都会一个translog，所以translog的存储路径就位于分片数据目录下。如下图所示： 1：索引名称 2：分片名称 3存放translog文件的目录 Translog目录下有2种格式的文件，tlog后缀的文件和ckp后缀的文件。 translog中存储了ES的操作记录，具体的说是ES还没落盘的数据的操作记录。因此不难看出trans...
ES之二：Elasticsearch原理
weixin_34026484的博客
01-07 640
Elasticsearch是最近两年异军突起的一个兼有搜索引擎和NoSQL数据库功能的开源系统，基于Java/Lucene构建。最近研究了一下，感觉 Elasticsearch 的架构以及其开源的生态构建都有许多可借鉴之处，所以整理成文章分享下。本文的代码以及架构分析主要基于 Elasticsearch 2.X 最新稳定版。 Elasticsearch 看名字就能大概了解下它是一个弹...
elasticsearch-analysis-dynamic-synonym-7.6.2
08-17
`elasticsearch-analysis-dynamic-synonym-7.6.2`是一个专为ES7.6.2版本设计的动态同义词插件，旨在实现同义词的动态加载和管理，使得同义词库可以随着业务需求的变化而实时更新。 **一、动态同义词插件的作用** 1...
7.17.1系列Elasticsearch的elasticsearch-analysis-ik分词器
08-07
elasticsearch-analysis-ik 是一个常用的中文分词器，在 Elasticsearch 中广泛应用于中文文本的分析和搜索。下面是 elasticsearch-analysis-ik 分词器的几个主要特点： 中文分词：elasticsearch-analysis-ik 是基于...
elasticsearch-analysis-ik-7.10.0.zip下载
最新发布
05-08
"elasticsearch-analysis-ik"是针对Elasticsearch的一个中文分词插件，它的主要功能是提供高效、精准的中文分词能力，使得Elasticsearch能够更好地理解和处理中文文本数据。 在Elasticsearch 7.10.0版本中，...
elasticsearch-bulk-insert-plugin-8.x-es7.x.x.zip
11-18
kettle 支持elasticsearch7.x 批量上传的插件,减压后放到data-integration\plugins 目录下即可
新鲜出炉｜基于深度学习的运维日志领域新进展
Sharon0408的博客
11-25 1151
运维日志领域研究方向主要包含异常日志检测、日志模式解析、日志内容分类、日志告警等。本篇文章介绍了热门异常检测模型 DeepLog、A2Log 等模型，以及云智慧自研模型 Translog 等。与此同时，在文章最后介绍了未来基于深度学习的运维日志领域主要研究方向。
Elasticsearch 简介
热门推荐
Elastic 中国社区官方博客
08-08 17万+
Elasticsearch是一个非常强大的搜索引擎。它目前被广泛地使用于各个IT公司。Elasticsearch是由Elastic公司创建并开源维护的。它的开源代码位于https://github.com/elastic/elasticsearch。同时，Elastic公司也拥有Logstash及Kibana开源项目。这个三个开源项目组合在一起，就形成了 ELK软件栈。他们三个共同形成了一个强大的...
CentOS6.5下Elasticsearch5.6.4安装填坑
qq_29919983的博客
11-14 963
作为一个小白，初次接触es，学习一个组件之前首先要学会安装，在网上找了很多方法，有些有用，有些没用，所以自己小小的总结下，方便自己以后查看。 1、jdk安装 在安装es前需要先确定Linux操作系统上的jdk版本，最好是用jdk1.8版本，我们可以用java -version命令查看当前系统的jdk版本，如果当前系统自带了jdk，我们可以通过yum remove java命令来删除当前版本，重
一份Elasticsearch 5.6.4配置与详解（实际已经验证）
sunjiangangok的博客
05-09 2113
# 参考资料# https://www.elastic.co/guide/en/elasticsearch/reference/5.6/modules-http.html# https://www.elastic.co/guide/en/elasticsearch/reference/5.6/modules-gateway.html# https://blog.csdn.net/u01245032...
ES学习笔记之-Translog实现机制的理解
weixin_34343308的博客
05-12 2720
ES作为一个NoSQL，典型的应用场景就是存储数据。即用户可以通过api添加数据到es中。由于Lucene内部的实现， 每次添加的数据并不是实时落盘的。而是在内存中维护着索引信息，直到缓冲区满了或者显式的commit, 数据才会落盘，形成一个segement，保存在文件中。 那么假如由于某种原因，ES的进程突然挂了，那些在内存中的数据就会丢失。而实际上，用户调用api, 返回结果确认用户数据已经添...
记录一次elasticsearch-5.6.4宕机排查经历
以梦为马|越骑越傻
12-10 1339
犯罪现场~~ es: 三节点，配置相同 内存: 248G CPU: 没注意看 磁盘: 2T data: 380G左右 indices: 近9800条 在下才疏学浅，目前跟着大佬学习，这个问题还没解决，大佬猜测是indices数量过高，将es打爆了，由于机器是客户的，indices的删减需要客户方的同意，暂时不确定是否是这个原因导致的，后期成功处理恢复es集群后，再来更新（为什么不看日志？因为日志太大了，108G，不知道应该搜索哪些关键字，有大佬知道，望赐教） 下面分享两个遇到的犯罪现场~~~ 客户环境，就
ES5.6.4源码分析----查询流程
qqqq0199181的博客
09-20 922
分片路由参考：https://www.jianshu.com/p/cfdfefbe30a2
【Elasticsearch】Elasticsearch 索引恢复流程源码分析
追赶者的博客
01-28 1035
一：索引恢复介绍 索引恢复是ES数据恢复过程。比如当集群宕机或者异常重启后，写入磁盘的数据先到文件系统缓存中，没有来的级刷盘，如果不通过某种方式把数据找回来，则会丢失一部分数据，找回数据丢失的过程就是索引恢复过程。 根据数据分片的性质，索引分为主副分片，那么数据恢复就要分为主分片恢复和副分片恢复。 主分片主要从Translog中自我恢复，尚未执行flush到磁盘的分段可以从tanslog中重建 副分片需要从主分片中拉取Lucene分段和tanslog进行恢...
elasticsearch中的Translog详解 及其参数与调优
Angus
03-18 1万+
ES为什么需要有translog？ es是近实时的存储引擎（和搜索引擎）。所谓近实时，是指新增一条数据，或者修改一条数据，并不能保证被立刻看到。数据被看到的时候数据已经作为一个提交点，被写入到了文件系统中（这个过程称为refresh）。因为一次写入的成本相对比较大，所以用攒一波批量提交的方式，写入性能会更好。不管这些数据都是在堆内存中还是在文件系统中（Filesystem Cache），如果发生断电，或者JVM的崩溃，则这部分数据一定会丢失。为了防止数据丢失，这部分数据会被写入到traslog中一份。当然
Elasticsearch 7.9.0版本分析插件elasticsearch-analysis-ik发布
随着版本更新到7.9.0，elasticsearch-analysis-ik也进行了相应的升级，以支持该版本的Elasticsearch。ik分词器支持两种分词模式：智能分词和最大词数分词。智能分词在分词时会根据上下文进行自动识别，以适应不同...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值