Elasticsearch如何保证数据不丢失？

[TOC]

如何保证数据写入过程中不丢

数据写入请求达到时，以需要的数据格式组织并写入磁盘的过程叫做数据提交，对应es就是创建倒排索引，维护segment文件 如果我们同步的方式，来处理上述过程，那么系统的吞吐量将很低 如果我们以异步的方式，先写入内存，然后再异步提交到磁盘，则有可能因为机器故障而而丢失还未写入到磁盘中的数据

为了解决这个问题，一般的存储系统都会设计transag log (事务日志)或这write ahead log(预写式日志)。它的作用时，将最近的写入数据或操作以日志的形式直接落盘，从而使得即便系统崩溃后，依然可以基于这些磁盘日志进行数据恢复。

Mysql有redo undo log ，而HBASE、LevelDB，RockDB等采用的LSM tree则提供了write ahead log 这样的设计，来保证数据的不丢失

直接落盘的 translog 为什么不怕降低写入吞吐量？

上述论述中，数据以同步方式落盘会有性能问题，为什么将translog和wal直接落盘不影响性能？原因如下：

• 写的日志不需要维护复杂的数据结构，它仅用于记录还未真正提交的业务数据。所以体量小
• 并且以顺序方式写盘，速度快

es默认是每个请求都会同步落盘translog ，即配置index.translog.durability 为request。当然对于一些可以丢数据的场景，我们可以将index.translog.durability配置为async