ES-基础知识总结

学习目标

熟悉ES中index,shard,type,document,倒排索引等概念以及Client API。

作用

  • 高度可扩展的开源全文搜索与分析引擎
  • 快速地、近实时的对大数据进行存储、搜索与分析
  • 用来支撑有负责的数据搜索需求的企业级应用
  • 一个分布式可扩展的实时搜索和分析引擎
  • 一切的设计都是为了提高搜索的性能(为了提高搜索能力,在插入或者更新方面可能比较慢)

特点

  • 分布式
  • 高可用
  • 多类型
  • 多API
  • 面向文档
  • 异步写入
  • 近实时
  • 基于Lucene
  • Apache协议

核心概念

  • 近实时
  • 集群

    • 代表一个集群,集群中有多个节点,其中有一个为主节点,这个主节点是可以通过选举产生的,主从节点是对于集群内部来说的。
      es的一个概念就是去中心化,字面上理解就是无中心节点,这是对于集群外部来说的,因为从外部来看es集群,在逻辑上是个整体,
      你与任何一个节点的通信和与整个es集群通信是等价的。
  • 节点

    • 代表es的自动发现节点机制,es是一个基于p2p的系统,它先通过广播寻找存在的节点,再通过多播协议来进行节点之间的通信,
      同时也支持点对点的交互。
  • 索引
  • 类型
  • 文档
    • 一般搜索引擎的处理对象是互联网网页,而文档这个概念要更宽泛些,代表以文本形式存在的存储对象,相比网页来说,涵盖
      更多种形式,比如Word,PDF,html,XML等不同格式的文件都可以称之为文档。再比如一封邮件,一条短信,一条微博也可以称
      之为文档。很多情况下会使用文档来表征文本信息。(在Elasticsearch中,文档这个单词有特殊的含义。它指的是在Elasticsearch
      中被存储到唯一ID下的由最高级或者根对象 (root object )序列化而来的JSON。),在ES中一条数据Json数据就是一个文档:
{
    "name" :     "John",
    "sex" :      "Male",
    "age" :      25,
    "birthDate": "1990/05/01",
    "about" :    "I love to go rock climbing",
    "interests": [ "sports", "music" ]
}

可以表示为User类型
  • 分片
    • 代表索引分片,es可以把一个完整的索引分成多个分片,这样的好处是可以把一个大的索引拆分成多个,分布到不同的节点上。
      构成分布式搜索。分片的数量只能在索引创建前指定,并且索引创建后不能更改。
  • 副本
    • 代表索引副本,es可以设置多个索引的副本,副本的作用一是提高系统的容错性,当某个节点某个分片损坏或丢失时可以从副本中
      恢复。
    • 二是提高es的查询效率,es会自动对搜索请求进行负载均衡。

传统数据库与ES之间的映射关系

关系型数据库ES
DataBaseindex
Tabletype
RowDocument
ColumnField
SchemaMapping
IndexEverything is indexed
SQLQuery DSL
SELECT * FROM tableGET http://
UPDATE table SETPUT http://

REST请求头

HTTP方法数据处理说明
POSTCreate新增一个没有ID的资源
GETRead取得一个资源
PUTUpdate更新一个资源,或者新增一个含ID的资源(如果ID不存在)
DELETEDelete删除一个资源

版本控制

ES提供了两种最为重要的版本控制类型:

  • 内部版本是以1开头的默认版本,每次对内容的更新都会增加,包括删除
  • 外部版本需要进行配置,version_type设置为external

端口

  • 9300 专门供Java使用的端口
  • 9200 供其他编程语言调用的端口

批量提交的原理:聚集一定数量的doc,然后发送一次添加请求!

Elasticsearch对复杂分布式机制的透明隐藏特性

  • Elasticsearch是一套分布式的系统,分布式是为了应对大数据量
  • 隐藏了复杂的分布式机制
  • cluster discovery(集群发现机制)—–比如当前我们启动了一个es进程,当启动了第二个es进程时,这个进程作为一个node自动就
    发现了集群,并且加入了进去,还接受了部分数据(作为replica shard)
    分片机制—-es自动地将我们创建的document插入的集群中,我们是不用关心数据是按照什么机制分片的、最后放入到那个shard中
  • shard负载均衡—–比如现在又10shard,集群中有3个节点,es会进行均衡的进行分配,以保持每个节点均衡的读写负载请求

ElasticSearch修改文档原理

  • 从旧的文档中检索JSON
  • 修改它
  • 删除修的文档(不会立即删除,但是也不能被检索到)
  • 索引一个新的文档

高可用方案(保证数据一致性)

  • 悲观并发控制(在读取特定行数据时,先对这行数据进行锁定,确保只有一个线程可以对这行数据进行操作)
  • 乐观并发控制:ElasticSearch所采用的方案。假设这种情况并不会经常发生,也不会去阻止某一数据的访问。然而,如果基础数据在我们
    读取和写入的间隔中发生了变化,更新就会失败。这时候就由程序来决定如何处理这个冲突。例如,它可以重新读取新数据来进行更新,
    又或者它可以将这一情况直接反馈给用户。

查询结果参数说明

  • hits:指明了匹配查询的文档总数
  • _score:每一个元素还拥有一个_score字段。这个是相关性评分,这个数值表示当前文档与查询的匹配程度。通常来说,搜索结果会先返回最匹配
    的文档,也就是说它们会按照_score由高至低进行排列。在这个例子中,我们并没有声明任何查询,因此_score就都会返回1
  • took:我们执行这次搜索请求所耗费的时间有多少毫秒。
  • shards:告诉我们参与查询分片的总数
  • timed_out:数值告诉了我们查询是否超时,会尽可能地返回你指定时间内它所查到的内容(这里应该强调一下timeout并不会终止查询,
    它只是会在你指定的时间内返回当时已经查询到的数据,然后关闭连接。在后台,其他的查询可能会依旧继续,尽管查询结果已经被返回了。)

查询URL说明

URL说明
/_search搜索所有的索引和文档
/index/_search搜索索引index中的所有类型
/index1,index2/_search搜索索引index1和index2中的所有文档和类型
/index1*,index2*/_search搜索所有以index1和index2开头的所有文档和类型
/index/type/_search搜索索引index中类型为type中的所有文档
/index1,index2/type1,type2/_search搜索索引index1和索引index2中的类型为type1或者为type2中的所有文档
/_all/type1,type2/_search搜索所有类型为type1以及type2中的文档

分片(Shard)和副本(Replica)

  • ES的“分片(shard)”机制可将一个索引内部的数据分布地存储于多个节点,它通过将一个索引切分为多个底层物理的Lucene索引完
    成索引数据的分割存储功能,这每一个物理的Lucene索引称为一个分片(shard)。
  • 每个分片其内部都是一个全功能且独立的索引,因此可由集群中的任何主机存储。创建索引时,用户可指定其分片的数量,默认数量为5个。
  • Shard有两种类型:primary和replica,即主shard及副本shard。
  • Primary shard用于文档存储,每个新的索引会自动创建5个Primary shard,当然此数量可在索引创建之前通过配置自行定义,不过,一旦创建完成,其Primary shard的数量将不可更改。
  • Replica shard是Primary Shard的副本,用于冗余数据及提高搜索性能。
    每个Primary shard默认配置了一个Replica shard,但也可以配置多个,且其数量可动态更改。ES会根据需要自动增加或减少这些Replica shard的数量。
  • ES集群可由多个节点组成,各Shard分布式地存储于这些节点上。ES可自动在节点间按需要移动shard,例如增加节点或节点故障时。简而言之,分片实现了集群的分布式存储,而副本实现了其分布式处理及冗余功能。

基本概念

  1. 索引
    • ES将它的数据存储在一个或者多个索引中,可以向索引中写入数据,也可以从索引中读取数据,类似SQL中的数据库
  2. 文档
    • 文档是ES中的主要实体,对所有使用ES搜索的案例来说,最后都将转化为文档的搜索
©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页