ES索引恢复流程解析

背景

索引恢复是ES数据恢复过程。待恢复的数据是客户端写入成功，但未执行刷盘（flush）的Lucene分段。根据数据分片性质，索引恢复过程可分为主分片恢复流程和副分片恢复流程。

• 主分片从translog中自我恢复，尚未执行flush到磁盘的Lucene分段可以从translog中重建；
• 副分片需要从主分片中拉取Lucene分段和translog进行恢复。但是有机会跳过拉取Lucene分段的过程。

例如，当节点异常重启时，写入磁盘的数据先到文件系统的缓冲，未必来得及刷盘，如果不通过某种方式将未刷盘的数据找回来，则会丢失一些数据，这是保持数据完整性的体现；另一方面，由于写入操作在多个分片副本上没有来得及全部执行，副分片需要同步成和主分片完全一致，这是数据副本一致性的体现。

recovery由clusterChanged触发，从触发到开始执行恢复的调用关系如下：

indicesClusterStateService#applyClusterState
->createOrUpdateShards()
->createShard()
->indicesService.createShard()
->indexShard.startRecovery()

IndexShard#startRecovery执行对一个特定分片的恢复流程，根据此分片不同的恢复类型执行相应的恢复过程。

// IndexShard.java#startRecovery
public void startRecovery(RecoveryState recoveryState, PeerRecoveryTargetService recoveryTargetService,
                          PeerRecoveryTargetService.RecoveryListener recoveryListener, RepositoriesService repositoriesService,
                          BiConsumer<String, MappingMetaData> mappingUpdateConsumer,
                          IndicesService indicesService) {

    switch (recoveryState.getRecoverySource().getType()) {
        case EMPTY_STORE:
        case EXISTING_STORE:
            threadPool.generic().execute(() -> {
                try {
					// 主分片从本地恢复
                    if (recoverFromStore()) {
                        recoveryListener.onRecoveryDone(recoveryState);
                    }
                }
            });
            break;
        case PEER:
            try {
				// 副分片从远程主分片恢复
                recoveryTargetService.startRecovery(this, recoveryState.getSourceNode(), recoveryListener);
            }
            break;
        case SNAPSHOT:
            threadPool.generic().execute(() -> {
                try {
                    final Repository repository = repositoriesService.repository(recoverySource.snapshot().getRepository());
					// 从快照恢复
                    if (restoreFromRepository(repository)) {
                        recoveryListener.onRecoveryDone(recoveryState);
                    }
                }
            });
            break;
        case LOCAL_SHARDS:
            threadPool.generic().execute(() -> {
                try {
					// 从本节点的其他分片恢复（shrink时）
                    if (recoverFromLocalShards(mappingUpdateConsumer, startedShards.stream()
                        .filter((s) -> requiredShards.contains(s.shardId())).collect(Collectors.toList()))) {
                        recoveryListener.onRecoveryDone(recoveryState);
                    }
                }
            });
            break;
        default:
            throw new IllegalArgumentException("Unknown recovery source " + recoveryState.getRecoverySource());
    }
}

我们主要介绍主分片和副分片的恢复流程。恢复工作一般经历以下几个阶段（stage）：

• INIT：恢复尚未启动；
• INDEX：恢复Lucene文件，以及在节点间复制索引数据；
• VERIFY_INDEX：验证索引;
• TRANSLOG：启动engine，重放translog，建立Lucene索引；
• FINALIZE：清理工作；
• DONE：完毕。

主分片恢复流程

INIT阶段

一个分片的恢复流程中，从开始执行恢复的那一刻起，被标记为INIT阶段，INIT标记在IndexShard#startRecovery函数的参数中传入，在判断此分片属于哪种恢复类型之前就被设置为INIT阶段。然后在新的线程池中执行主分片恢复流程。

// IndexShard.java#startRecovery
public void startRecovery(RecoveryState recoveryState, PeerRecoveryTargetService recoveryTargetService,
                          PeerRecoveryTargetService.RecoveryListener recoveryListener, RepositoriesService repositoriesService,
                          BiConsumer<String, MappingMetaData> mappingUpdateConsumer,
                          IndicesService indicesService) {

    switch (recoveryState.getRecoverySource().getType()) {
        case EMPTY_STORE:
        case EXISTING_STORE:
			// 标记为INIT阶段，INIT阶段作为函数入参传入
            markAsRecovering("from store", recoveryState);
			// 在新的线程池中执行主分片恢复流程：
            threadPool.generic().execute(() -> {