谁来跟我聊10毛钱的分布式全文搜索引擎——Elasticsearch

最新推荐文章于 2022-10-04 17:19:52 发布

mkfka

最新推荐文章于 2022-10-04 17:19:52 发布

阅读量202

点赞数

分类专栏：大数据文章标签： elasticsearch 搜索引擎分布式 es

本文链接：https://blog.csdn.net/mkfka/article/details/110010379

版权

大数据专栏收录该内容

10 篇文章 0 订阅

订阅专栏

一、Elasticsearch简介

1.1 Elasticsearch是什么

Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎。

1.2 什么是全文检索

1.2.1 结构化数据与非结构化数据

结构化数据：指具有固定格式或有限长度的数据，如数据库，元数据等
非结构化数据：指不定长或无固定格式的数据，如邮件，word文档等磁盘上的文件

1.2.2 搜索结构化数据和非结构化数据

使用SQL语言专门搜索结构化的数据
使用ES/Lucene/Solor建立倒排索引，根据关键字就可以搜索一些非结构化的数据

1.3 Elasticsearch特点

分布式的搜索引擎和数据分析引擎
全文检索，结构化检索，数据分析
对海量数据进行近实时的处理

1.4 倒排索引结构

倒排索引（Inverted Index）也叫反向索引，有反向索引必有正向索引。通俗地来讲，正向索引是通过key找value，反向索引则是通过value找key。
简单理解其实就是：正向索引是根据key找value，反向索引是根据value找key。
如下图所示，正向索引就是通过文档去找单词，反向索引就是通过单词去找文档。
在这里插入图片描述

二、分页搜索

在存在大量数据时，一般我们进行查询都需要进行分页查询。例如：我们指定页码、并指定每页显示多少条数据，然后Elasticsearch返回对应页码的数据。

2.1 浅分页

浅分页就是使用from和size来进行分页。在执行查询时，可以指定from（从第几条数据开始查起）和size（每页返回多少条）数据，就可以轻松完成分页。

from = (page – 1) * size

GET  /job_idx/_search
{
    "from": 0,
    "size": 5,
    "query": {
        "multi_match": {
            "query": "销售",
            "fields": ["title", "jd"]
        }·
    }
}

2.2 深分页

前面使用from和size方式，查询在1W-5W条数据以内都是OK的，但如果数据比较多的时候，会出现性能问题。Elasticsearch做了一个限制，不允许查询的是10000条以后的数据。如果要查询1W条以后的数据，需要使用Elasticsearch中提供的scroll游标来查询。在进行大量分页时，每次分页都需要将要查询的数据进行重新排序，这样非常浪费性能。使用scroll是将要用的数据一次性排序好，然后分批取出。性能要比from + size好得多。使用scroll查询后，排序后的数据会保持一定的时间，后续的分页查询都从该快照取数据即可。

三、Elasticsearch架构原理

3.1 Elasticsearch的节点类型

在Elasticsearch有两类节点，一类是Master，一类是DataNode。

3.1.1 Master节点

Master节点主要负责：

管理索引（创建索引、删除索引）、分配分片
维护元数据
管理集群节点状态
不负责数据写入和查询，比较轻量级

3.1.2 DataNode结点

在Elasticsearch集群中，会有N个DataNode节点。DataNode节点主要负责：

数据写入、数据检索，大部分Elasticsearch的压力都在DataNode节点上

3.2 分片和副本机制

3.2.1 分片

Elasticsearch是一个分布式的搜索引擎，索引的数据也是分成若干部分，分布在不同的服务器节点中
分布在不同服务器节点中的索引数据，就是分片（Shard）。Elasticsearch会自动管理分片，如果发现分片分布不均衡，就会自动迁移
一个索引（index）由多个shard（分片）组成，而分片是分布在不同的服务器上的。

3.2.2 副本

每个分片都会有一个Primary Shard（主分片），也会有若干个Replica Shard（副本分片）
Primary Shard和Replica Shard不在同一个节点上

3.2.3 指定分片和副本的数量

// 创建指定分片数量、副本数量的索引
PUT /job_idx_shard
{
    "mappings": {
        "properties": {
            "id": { "type": "long", "store": true },
            "area": { "type": "keyword", "store": true },
            "exp": { "type": "keyword", "store": true },
            "edu": { "type": "keyword", "store": true },
            "salary": { "type": "keyword", "store": true },
            "job_type": { "type": "keyword", "store": true },
            "cmp": { "type": "keyword", "store": true },
            "pv": { "type": "keyword", "store": true },
            "title": { "type": "text", "store": true },
            "jd": { "type": "text"}

        }
    },
    "settings": {
        "number_of_shards": 3,
        "number_of_replicas": 2
    }
}
// 查看分片、主分片、副本分片
GET /_cat/indices?v

3.3 Elasticsearch重要工作流程

3.3.1 Elasticsearch文档写入原理

在这里插入图片描述

1、选择任意一个DataNode发送请求，例如：node2。此时，node2就成为一个 coordinating node（协调节点）。
2、计算得到文档要写入的分片shard = hash(routing) % number_of_primary_shards。routing 是一个可变值，默认是文档的 _id。coordinating node会进行路由，将请求转发给对应的primary shard所在的DataNode（假设primary shard在node1、replica shard在node2）
3、node1节点上的Primary Shard处理请求，写入数据到索引库中，并将数据同步到Replica shard。
4、Primary Shard和Replica Shard都保存好了文档，返回client。

3.3.2 Elasticsearch检索原理

在这里插入图片描述
1、client发起查询请求，某个DataNode接收到请求，该DataNode就会成为协调节点（Coordinating Node）。
2、协调节点（Coordinating Node）将查询请求广播到每一个数据节点，这些数据节点的分片会处理该查询请求。协调节点会轮询所有的分片来自动进行负载均衡。
3、每个分片进行数据查询，将符合条件的数据放在一个优先队列中，并将这些数据的文档ID、节点信息、分片信息返回给协调节点。
4、协调节点将所有的结果进行汇总，并进行全局排序
5、协调节点向包含这些文档ID的分片发送get请求，对应的分片将文档数据返回给协调节点，最后协调节点将数据返回给客户端。