1. 写操作(Write):针对文档的CRUD操作
1.1 索引新文档(Create)
当用户向一个节点提交了一个索引新文档的请求,节点会计算新文档应该加入到哪个分片(shard
)中。每个节点都存储有每个分片存储在哪个节点的信息,因此协调节点会将请求发送给对应的节点。注意这个请求会发送给主分片,等主分片完成索引,会并行将请求发送到其所有副本分片,保证每个分片都持有最新数据。
每次写入新文档时,都会先写入内存中,并将这一操作写入一个translog
文件(transaction log)中,此时如果执行搜索操作,这个新文档还不能被索引到。如图5
图5、新文档被写入内存,操作被写入translog
ES会每隔1秒
时间(这个时间可以修改)进行一次刷新操作(refresh
),此时在这1秒
时间内写入内存的新文档都会被写入一个文件系统缓存(filesystem cache
)中,并构成一个分段(segment
)。此时这个segment
里的文档可以被搜索到,但是尚未写入硬盘,即如果此时发生断电,则这些文档可能会丢失。如图6
图6、在执行刷新后清空内存,新文档写入文件系统缓存
不断有新的文档写入,则这一过程将不断重复执行。每隔一秒将生成一个新的segment
,而translog
文件将越来越大。如图7
图7、translog不断加入新文档记录
每隔30分钟
或者translog
文件变得很大,则执行一次fsync
操作。此时所有在文件系统缓存中的segment
将被写入磁盘,而translog
将被删除(此后会生成新的translog
)。如图8
图8、执行fsync后segment写入磁盘,清空内存和translog
由上面的流程可以看出,在两次fsync
操作之间,存储在内存和文件系统缓存中的文档是不安全的,一旦出现断电这些文档就会丢失。所以ES引入了translog
来记录两次fsync
之间所有的操作,这样机器从故障中恢复或者重新启动,ES便可以根据translog
进行还原。
当然,translog
本身也是文件,存在于内存当中,如果发生断电一样会丢失。因此,ES会在每隔5秒
时间或是一次写入请求完成后将translog
写入磁盘。可以认为一个对文档的操作一旦写入磁盘便是安全的可以复原的,因此只有在当前操作记录被写入磁盘,ES才会将操作成功的结果返回发送此操作请求的客户端。
此外,由于每一秒就会生成一个新的segment
,很快将会有大量的segment
。对于一个分片进行查询请求,将会轮流查询分片中的所有segment
,这将降低搜索的效率。因此ES会自动启动合并segment
的工作,将一部分相似大小的segment
合并成一个新的大segment
。合并的过程实际上是创建了一个新的segment
,当新segment
被写入磁盘,所有被合并的旧segment
被清除。如图9
、图10
图9、合并segment
图10、合并完成后删除旧segment,新segment可供搜索
1.2 更新(Update)和删除(Delete)文档
ES的索引是不能修改的,因此更新和删除操作并不是直接在原索引上直接执行。
每一个磁盘上的segment
都会维护一个del文件
,用来记录被删除的文件。每当用户提出一个删除请求,文档并没有被真正删除,索引也没有发生改变,而是在del文件
中标记该文档已被删除。因此,被删除的文档依然可以被检索到,只是在返回检索结果时被过滤掉了。每次在启动segment合并工作时,那些被标记为删除的文档才会被真正删除。
更新文档会首先查找原文档,得到该文档的版本号。然后将修改后的文档写入内存,此过程与写入一个新文档相同。同时,旧版本文档被标记为删除,同理,该文档可以被搜索到,只是最终被过滤掉。
2. 读操作(Read):查询过程
查询的过程大体上分为查询(query
)和取回(fetch
)两个阶段。这个节点的任务是广播查询请求到所有相关分片,并将它们的响应整合成全局排序后的结果集合,这个结果集合会返回给客户端。
查询阶段
当一个节点接收到一个搜索请求,则这个节点就变成了协调节点。
第一步是广播请求到索引中每一个节点的主分片或副本分片。 查询请求可以被某个主分片或某个副本分片处理,协调节点将在之后的请求中轮询所有的分片拷贝来分摊负载。
每个分片将会在本地构建一个优先级队列。如果客户端要求返回结果排序中从第from
名开始的数量为size
的结果集,则每个分片都需要生成一个from+size
大小的结果集,因此优先级队列的大小也是from+size
。分片仅会返回一个轻量级的结果给协调节点,包含结果集中的每一个文档的ID
和进行排序所需要的信息。
协调节点会将所有分片的结果汇总,并进行全局排序,得到最终的查询排序结果。此时查询阶段结束。如图10
图10、查询过程分布式搜索
取回阶段
查询过程得到的是一个排序结果,标记出哪些文档是符合搜索要求的,此时仍然需要获取这些文档返回客户端。
协调节点会确定实际需要返回的文档,并向含有该文档的分片发送get
请求;分片获取文档返回给协调节点;协调节点将结果返回给客户端。如图11
图11、分布式搜索的取回阶段
相关性计算
在搜索过程中对文档进行排序,需要对每一个文档进行打分,判别文档与搜索条件的相关程度。在旧版本的ES中默认采用TF/IDF(term frequency/inverse document frequency)
算法对文档进行打分。
数值类型对搜索效率的影响
ES5.x之前用到的Lucene版本,实际上只能够索引文本类型的数据,表面上被定义为数值类型的字段,在暗地里都被转换成了字符串,编排成了倒排索引。