ES-ES的基本概念

已于 2024-03-26 11:08:54 修改
阅读量1.3k 收藏 17
点赞数 20
分类专栏： ElasticSearch 文章标签： elasticsearch es
于 2024-02-27 13:47:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Xbyou_1103591885/article/details/136320363
版权

ES的基本概念

一、文档

1.1 文档相关概念

  • ES是面向文档的，文档是所有可搜索数据的最小单位，可以对比理解为关系型数据库中的一条数据
    • 日志文件中的一条日志信息
    • 一本电影的具体信息/一张唱片的详细信息
  • 文档会被序列化成JSON格式保存在ES中
    • JSON对象由字段组成
    • 每个字段都有对应的字段类型
    • 格式比较灵活，不需要预先定义
    • 字段的类型可以指定（在索引中的Mapping中指定），也可通过ES自动推算
    • 支持数组和嵌套
  • 每个文档都有一个Unique ID
    • 可以自定义ID
    • 也可以通过ES自动生成

1.2 文档的元数据

  • 元数据，用于标注文档的相关信息

    • _index：文档所属的索引名
    • _type：文档所属的类型名，7.0开始每个索引只能创建一个type
    • _id：文档的唯一ID
    • _source：文档原始的JSON数据
    • _all：整合所有的字段内容，7.0以后已经废除
    • _version：文档的版本信息，在高并发的情况下会判断文档版本后再进行写入
    • _score：相关性打分
    {
    "_index" : "movies",
    "_type" : "doc",
    "_id" : "1",
    "_score" : 14.69302,
    "_source" : {
        "year" : 1995,
		"@version" : "1",
        "genre":[
            "Adventure",
            "Animation",
            "Children",
            "Comedy",
            "Fantasy"
        ],
        "id":"1",
        "title":"Toy Story"
    }
}

二、索引

2.1 索引的基本概念

  • 索引是文档的容器，是一类文档的集合（可以理解为关系型数据库中的表）
    • 索引（index）体现了逻辑空间的概念：每个索引都有自己的mapping定义，用于定义包含的文档的字段名和字段类型
      • 索引的Mapping定于文档字段的类型
      • Setting定义不同的数据分布
    • 分片（shard）体现了物理空间的概念：索引中的数据分散在Shard上
2.2 与关系型数据库对比
关系型数据库ES
TableIndex
RowDocument
ColumnField
SchemaMapping
SQLDSL

三、节点

3.1 节点的基本概念

ES支持分布式部署，其分布式架构支持存储的水平扩容，并且提高了系统的可用性，部分节点停止服务，整个集群的服务不受影响。

ES的分布式架构，不通的集群通过不通的名字来区分，默认集群的名称为elasticsearch，通过配置文件的修改或者直接在启动命令中指定 -E cluster.name=mymain进行设定，一个集群支持一个到多个节点。

  • 节点就是一个ES的实例

    • 本质上就是一个Java进程
    • 一台机器上可以运行多个ES进程

  • 每个节点都有一个名字，通过配置文件配置或者启动的时候通过-E node.name=node1指定

  • 每个节点在启动以后都会分配一个UUID，保存到data目录下

  • Master节点的概念

    • 每个节点启动后，默认就是一个Master-eligible节点，可以通过node.master:false禁止
    • Master-eligible节点可以参加选主流程，成为Master节点
    • 当第一个节点启动的时候，它会将自己选举成Master节点
    • 每个节点上都保存了集群的状态，只有Master节点才能修改集群的状态信息
      • 集群状态，维护了一个集群中必要的信息：
        • 所有的节点信息
        • 所有的索引和其相关的Mapping和Setting信息
        • 分片的路由信息
      • 如果任意节点都能修改信息会导致数据的不一致性

  • Data节点

    • 可以保存数据的节点叫做Data节点。负责保存分片数据，在数据扩展上起到了至关重要的作用

  • Coordinating节点

    • 负责接受Client的请求，将请求分发到合适的节点，最终把结果汇集到一起

    • 每个节点都默认起到Coodinating节点的职责

      问题：当一个机器上启动多个实例的时候，谁是Master节点，谁是Data节点，谁是Coordinating节点，谁提供的9200端口

  • Ingest节点

  • 主要用于对数据进行预处理。Ingest节点类似于Logstash中的Filter，可以对数据进行解析、转换和过滤等操作。当数据到达Ingest节点时，它会先对数据进行预处理，然后再将数据发送到Elasticsearch的Data节点进行索引和存储。

  • Hot&Warm节点

    • 不通硬件配置的Data Node，用来实现Host & Warm架构，降低集群部署的成本
    • Hot节点：这些节点通常用于存储和处理最新的、访问频率最高的数据，也就是所谓的“热”数据。Hot节点通常配置有高性能的硬件（如SSD固态硬盘），以确保快速的数据写入和检索速度。由于这些数据是最常被访问的，因此将它们存储在高性能的节点上可以确保最佳的用户体验。
    • Warm节点：与Hot节点相比，Warm节点用于存储那些访问频率较低但仍然需要保留的数据。这些数据可能不再是最新的，但仍然具有一定的价值，需要被检索和分析。Warm节点通常配置有较低性能的硬件（如HDD机械硬盘），以降低存储成本。通过将不常访问的数据迁移到Warm节点，可以释放Hot节点的存储空间，使其能够更高效地处理新的、热门的数据。

  • Machine Learning 节点

    • 负责跑机器学习的Job，做数据的异常检测

  • Tribe节点

    • 5.3 开始使用Cross Cluster Search
    • Tribr Node连接到不通的ES集群并支持将这些集群当成一个单独的集群处理
3.2 配置节点类型

  • 开发环境中一个节点可以承担多种角色

  • 生产环境中，应该设置单一的角色

    节点类型配置参数默认值
    master eligiblenode.mastertrue
    datanode.datatrue
    hot&warmnode.attr.box_type无
    ingestnode.ingesttrue
    coordinating only无每个节点默认都是coordinating节点，设置其他类型全部为false
    machine learningnode.mltrue

四、分片

4.1 分片的基本概念

  • 在Elasticsearch中，分片（Shard）是数据的基本单位，每个索引在创建时都会被分成多个分片。这些分片是数据的容器，用于存储索引中的数据。每个分片实际上是一个独立的索引实例，包含了数据的一个完全独立的物理副本，这意味着每个分片都包含了数据的一个完整复制集。

  • 分片的主要目的是为了在Elasticsearch集群中分发数据，以提供高可用性和负载均衡。通过将数据分散到不同的分片上，Elasticsearch可以在多个节点上并行处理数据，从而提高性能和可扩展性。每个分片都可以独立扩展，而不会影响其他分片的性能。此外，Elasticsearch还支持动态分片分配，这意味着可以自动将新的索引或文档分配到最合适的分片上。

  • 在Elasticsearch中，分片可以跨多个节点分布，以提高数据的可用性和可扩展性。当集群扩容或缩小时，Elasticsearch会自动在节点间迁移分片，以使集群保持平衡。分片可以是主分片（primary shard）或者是复制分片（replica shard），主分片用于存储实际数据，而复制分片则是主分片的副本，用于提高数据的可靠性和可用性。

  • 我们举例来说明分片的概念与作用：

    • 分片是把一个索引分成多个小部分的过程。还是用图书馆作为例子，想象图书馆里的书太多了，一个书架放不下，于是你决定把书分散到多个书架上。每个书架就相当于一个分片。这样，当你想要找书时，你可以同时搜索多个书架，从而加快搜索速度。
4.2 分片的规划

在Elasticsearch中，分片的规划是非常重要的，因为它直接影响到集群的性能、扩展性和数据安全性。以下是一些建议，帮助你规划Elasticsearch中的分片：

  1. 考虑数据量：首先，你需要估计索引的总数据量。这将帮助你决定需要多少个分片来存储这些数据。每个分片的大小应该控制在一定的范围内，以避免过大或过小的分片导致性能问题。
  2. 节点和分片的关系：分片数应该与集群中的节点数相匹配。通常，建议将分片数设置为节点数的2-3倍，这样可以在节点故障时提供一定的容错能力。但是，也要避免分片数过多，以免给集群带来过大的压力。
  3. 主分片和副本：每个索引都应该有一个或多个主分片，以及零个或多个副本分片。主分片用于存储实际数据，而副本分片则是主分片的复制品，用于提高数据的可靠性和查询性能。副本分片的数量可以根据你的需求进行调整，通常建议设置为1-2个副本。
  4. 动态调整：随着数据量的增长和集群规模的变化，你可能需要动态地调整分片数。Elasticsearch提供了重新索引和分片调整的功能，允许你在不中断服务的情况下调整分片配置。
  5. 监控和调优：定期监控集群的健康状况、分片分布和性能指标是非常重要的。通过使用Elasticsearch提供的监控工具和API，你可以了解集群的实时状态，并根据需要进行调优。
  6. 考虑分片键：在创建索引时，你需要选择一个合适的分片键。分片键的选择将决定数据如何被分配到不同的分片中。选择一个合适的分片键可以确保数据的均匀分布和查询性能的优化。

五、倒排索引

在了解倒排索引之前我们先讲解一下什么是正排索引，正排索引就是根据ID查询具体的数据，可以类比于一本书的目录，我们可以快速的根据目录中的页码快速找到对应的内容，而假如现在我们有一个关键词，需要知道关键词所在页码，那么就需要一个关键词和页码的一个索引来帮助我们根据关键词找到对应的页码，这个索引就叫做倒排索引。

概念图书搜索引擎
正排索引目录文档ID到文档内容和单词的关联
倒排索引索引页单词到文档ID的关联

我们来举个正排索引和倒排索引的例子：

  • 正排索引

    文档ID文档内容
    1Mastering ElasticSearch
    2ElasticSearch Server
    3ElasticSearch Client

  • 倒排索引

    关键词计数文档ID:位置
    Mastering11:1
    ElasticSearch31:2,2:1,3:1
    Server12:2
    Client13:2

倒排索引的组成：

  • 单词词典，记录所有文档的单词，记录单词到倒排列表的关联关系
    • 单词词典一般比较大，可以通过B+树或者哈希链算法来实现，以满足高性能的插入和查询
  • 倒排列表，记录单词对应的文档组合，由倒排索引项组成
    • 倒排索引项
      • 文档ID
      • 词频TF，该单词在文档中出现的次数，用于相关性打分
      • 位置，该单词在文档分词中的位置，用于语句搜索
      • 偏移，记录单词的开始结束位置，用于高亮显示

六、分词器

  • 分词
    将文本转换为一系列单词的过程就叫分词，除了存储时需要分词，查询时也需要分词。
    在这里插入图片描述
  • 分词器
    分词是通过分词器来完成的，分词器分为三部分
    • Character Filter（针对文本进行预处理，例如将html标签刨除等）
    • Tokenizer （按照规则进行分词，例如英文中的按照空格，中文中的按照语义）
    • Token Filter（将已经分好的单词进行后置处理，例如转成小写、删除之乎者也这种语气词、增加同义词等）
      在这里插入图片描述
  • 常见的分词器

    • standard
      在这里插入图片描述

    • Simple
      在这里插入图片描述

    • whitespace
      在这里插入图片描述

    • stop
      在这里插入图片描述

    • keyword
      在这里插入图片描述

    • pattern
      在这里插入图片描述

    • Language
      在这里插入图片描述

    • 中文分词器

      • icu_analyzer在这里插入图片描述
      • IK
        支持自定义词库，支持热更新分词词典
        https://github.com/medcl/elasticsearch-analysis-ik
      • THULAC
        THU Lexucal Analyzer for Chinese,清华大学自然语言处理和社会人文计算实验室的一套中文分词器
        https://github.com/microbun/elasticsearch-thulac-plugin
码农界的菜鸟
关注
  • 20
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ES基础知识介绍
microsoft_love的专栏
02-23 952
ES基础知识介绍
ES基础概念
攀登Fox的博客
07-16 191
介绍 ElasticSearch 是一个基于 Lucene 的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于 RESTful web 接口，具有稳定、可靠、快速的特点。 目录介绍一、基本概念1.1、cluster1.2、shards1.3、replicas1.4、recovery1.5、river1.6、gateway1.7、discovery.zen1.8、transport二、主要功能2.1、分布式的搜索引擎2.2、数据分析2.3、全文检索2.4、结构化检索2.5、海量数据近实时处理 一、
ES(一)：ES基本概念和原理简单介绍
zhoushimiao1990的博客
11-24 2万+
Elasticsearch概述： ES是基于Lucene的搜索服务器，它提供了一个分布式多用户能力的全问搜索引擎，且ES支持RestFulweb风格的url访问。ES是基于Java开发的开源搜索引擎，设计用于云计算，能够达到实时搜索，稳定、可靠、快速。此外，ES还提供了数据聚合分析功能，但在数据分析方面，es的时效性不是很理想，在企业应用中一般还是用于搜索。ES自2016年起已经超过Solr等，...
elasticsearch中的基本概念和原理
tiancityycf的专栏
12-16 564
参考：https://www.phpmianshi.com/?id=144 基本概念和原理 ​ ES其实就是基于lucene之上封装的一个分布式 索引框架,所以lucene拥有的特性,它都是有的,同时因为它是基于分布式的,所以对很多的功能进行了扩展,要想掌握ES,需要先熟悉一下Lucene,因为熟悉了Lucene之后,不论是学ES,还是Solr都是比较容易的.在这里插一句经常有人在选型的时候,不知道用ES还是Solr,建议可以参考下面的方案:如果系统是从头接入搜索引擎,那么就不要犹豫了,直接使用ES,
elasticsearch-7.6.2.rar
12-03
在使用Elasticsearch时，你需要了解基本的概念，如索引（Index）、类型（Type，7.x版本中已废弃，被映射为Document）、文档（Document）和字段（Field）。还需要掌握如何创建索引、索引数据、执行查询以及管理集群的...
最新版windows elasticsearch-8.6.1-windows-x86-64.zip
01-28
1. **节点(Node)**：Elasticsearch运行的基本单位，每个节点都是一个单独的Elasticsearch实例，可以存储数据并参与集群的操作。 2. **集群(Cluster)**：由一个或多个节点组成，它们共享相同的集群名称，共同管理数据...
elasticsearch-7.6.2+elasticsearch-head
02-01
**一、Elasticsearch核心概念** 1. **节点(Node)**：Elasticsearch运行的基本单位，每个节点存储和处理数据，并与其他节点通信进行集群操作。在提供的`elasticsearch-7.6.2_node1`中，表示了一个配置好的Elastic...
最新版linux elasticsearch-7.17.1-linux-x86_64.tar.gz
03-02
**Elasticsearch核心概念：** 1. **节点(Node)**：每个运行Elasticsearch实例的服务器称为一个节点。节点可以单独工作，也可以通过网络连接形成集群。 2. **集群(Cluster)**：由多个节点组成，共享相同的数据并共同...
最新版windows elasticsearch-analysis-ik-7.13.3.zip
07-20
《深入理解Elasticsearch Analysis IK插件在Windows环境下的应用》 在当今大数据时代，搜索引擎技术扮演着至关重要的角色，而Elasticsearch作为一款强大的开源搜索引擎，被广泛应用于日志分析、监控系统以及数据...
ES基本概念和原理简单介绍（1）
weixin_42408447的博客
08-14 1289
es
ES 文档与索引介绍
「 虚幻私塾」
04-15 3562
Python微信订餐小程序课程视频 https://blog.csdn.net/m0_56069948/article/details/122285951 Python实战量化交易理财系统 https://blog.csdn.net/m0_56069948/article/details/122285941 在之前的文章中，介绍了 ES 整体的架构和内容，这篇主要针对 ES 最小的存储单位 - 文档以及由文档组成的索引进行详细介绍。 会涉及到如下的内容： 文档的 CURD 操作。 Dynamic Mapp
ES（elasticSearch学习笔记）
weixin_42765975的博客
08-19 8934
es是面向文档型的数据库，一条数据在es数据库就是一个文档，和关系型数据库做一个类比，es的索引类比关系型数据库的数据库，es的type类比数据表（7.0版本以上删除了type这个概念），es的文档document类比关系型数据库的行，es的字段类比关系关系型数据库的列。1.安装访问在本地es执行目录：/Users/liuqinhua/Desktop/错误/elasticsearch-7.6.2/bin执行可执行文件：./elasticsearch访问2.创建索引put请求。................
ES（一）ES基本概念
upupfeng的博客
01-07 4115
ES简介 ES是基于Lucene分布式搜索服务，可以存储整个对象或文档 分布式的实时文件存储，每个字段都被索引并可被搜索 分布式的实时分析搜索引擎 可以扩展到上百台服务器，处理PB级结构化或非结构化数据 与传统数据库的对比： Relational DB -> Databases -> Tables -> Rows -> Columns Elasticsearch ->...
es基本概念(集群-节点-分片)
zengqingzhou007的博客
05-22 1万+
集群:    ES节点：运行的ES实例    ES集群由若干节点组成，这些节点在同一个网络内，cluster-name相同节点:    master节点：集群中的一个节点会被选为master节点，它将负责管理集群范畴的变更，例如创建或删除索引，添加节点到集      群或从集群删除节点。master节点无需参与文档层面的变更和搜索，这意味着仅有一个master节点并不会因流量增长而成为      ...
es核心概念介绍
yungk123的博客
03-21 3602
文章目录1. es介绍1.es是什么2.es特点3.对比mysql2.倒排索引3.核心概念介绍1.索引（index）2.类型（type）3.文档（document）4.节点与集群（node、cluster）5.分片4.es索引过程 1. es介绍 1.es是什么 ​ elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web...
elastic search中文档的元数据
muzizongheng的专栏
12-26 644
es中的文档有多个元数据， 其中_index, _type,  _id 是必须的。_index是文档存储的地方的名称，类似数据库_type是文档存储的对象的结构，类似表，或者class_id是一串字符串，它可以由es自动生成，也可以我们创建文档的时候指定。_source代表我们创建index时发送给es的原始文档。_version代表文档的version，即es中的文档有版本控制，用versi...
ElasticSearch介绍
Pluto372的博客
08-31 929
if you没有听说过ElasticSearch，那你一定听说过ELK（Elastic Stack），实际上ELK是三款软件的简称，分别是Elasticsearch、Logstash、Kibana组成，在发展的过程中，又有新成员Beats的加入，所以就形成了Elastic Stack。所以说，ELK是旧的称呼，Elastic Stack是新的名字。 Elastic Stack的组成： ...
ES基本介绍
热门推荐
NasubiZW
06-28 31万+
简介 ES是一个基于RESTful web接口并且构建在Apache Lucene之上的开源分布式搜索引擎。 同时ES还是一个分布式文档数据库，其中每个字段均可被索引，而且每个字段的数据均可被搜索，能够横向扩展至数以百计的服务器存储以及处理PB级的数据。 可以在极短的时间内存储、搜索和分析大量的数据。通常作为具有复杂搜索场景情况下的核心发动机。 ES就是为高可用和可扩展而生的。一方面可以通...
Elasticsearch -SQL
最新发布
06-25
1. **兼容性**：它基于标准SQL，所以熟悉SQL的开发者可以快速上手，但对Elasticsearch特有的概念（如文档、映射等）有所保留。 2. **简单查询**：支持基本的SQL SELECT语句，如SELECT、FROM、WHERE、GROUP BY等，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值