elasticsearch学习(一)——底层原理

1.es 的分布式架构原理（es 是如何实现分布式的）
底层：基于 lucene 的。
核心思想：就是在多台机器上启动多个 es 进程实例，组成了一个 es 集群
基本单位：索引

2.es 写入数据的工作过程

• 客户端选择一个 node 发送请求过去，这个 node 就是 coordinating node（协调节点）。
• coordinating node （协调节点）对 document 进行路由，将请求转发给对应的 node（有 primary shard）。
• 实际的 node 上的primary shard 处理请求，然后将数据同步到 replica node。
• coordinating node（协调节点） 如果发现primary node 和所有 replica node 都搞定之后，就返回响应结果给客户端。
  
  es 写入数据底层原理：
  数据先写入内存 buffer，然后每隔 1s，将数据 refresh 到 os cache，到了 os cache 数据就能被搜索到（所以我们才说 es 从写入到能被搜索到，中间有 1s 的延迟）。每隔 5s，将数据写入 translog 文件（这样如果机器宕机，内存数据全没，最多会有 5s 的数据丢失），translog 大到一定程度，或者默认每隔 30mins，会触发 commit 操作，将缓冲区的数据都 flush 到 segment file 磁盘文件中，数据写入 segment file 之后，同时就建立好了倒排索引。如图：
  
  3,.es 读数据(过程)原理
  可以通过 doc id 来查询，会根据 doc id 进行 hash，判断出来当时把 doc id 分配到了哪个 shard 上面去，从那个 shard 去查询
• 客户端发送请求到任意一个 node，成为 coordinate node（协调节点）。
• coordinate node（协调节点） 对 doc id进行哈希路由，将请求转发到对应的 node，此时会使用 round-robin 随机轮询算法，在 primary shard 以及其所有replica 中随机选择一个，让读请求负载均衡。
• 接收请求的 node 返回 document 给 coordinate node（协调节点）。
• coordinate node（协调节点） 返回 document 给客户端。
  4.es删除/更新数据底层原理
  (1)删除原理：如果是删除操作，commit 的时候会生成一个 .del 文件，里面将某个 doc 标识为 deleted 状态，那么搜索的时候根据 .del 文件就知道这个 doc 是否被删除了
  (2)更新原理：如果是更新操作，就是将原来的 doc 标识为 deleted 状态，然后新写入一条数据。
  buffer 每 refresh 一次，就会产生一个segment file，所以默认情况下是 1 秒钟一个 segment file，这样下来 segment file 会越来越多，此时会定期执行 merge。每次 merge 的时候，会将多个 segment file 合并成一个，同时这里会将标识为 deleted 的 doc 给物理删除掉，然后将新的 segment file 写入磁盘，这里会写一个 commit point，标识所有新的 segment file，然后打开 segment file 供搜索使用，同时删除旧的 segment file。
  5.底层 lucene
  lucene 就是一个 jar 包，里面包含了封装好的各种建立倒排索引的算法代码。我们用 Java 开发的时候，引入 lucene jar，然后基于 lucene 的 api 去开发就可以了。通过 lucene，我们可以将已有的数据建立索引，lucene 会在本地磁盘上面，给我们组织索引的数据结构
  6.倒排索引
  在搜索引擎中，每个文档都有一个对应的文档 ID，文档内容被表示为一系列关键词的集合。例如，文档 1 经过分词，提取了 20 个关键词，每个关键词都会记录它在文档中出现的次数和出现位置。那么，倒排索引就是关键词到文档 ID 的映射，每个关键词都对应着一系列的文件，这些文件中都出现了关键词
• 倒排索引中的所有词项对应一个或多个文档
• 倒排索引中的词项根据字典顺序升序排列