ElasticSearch 基础概念

博文目录

---

官网
官方文档
官方中文文档

ElasticSearch

Elasticsearch 是一个分布式、RESTful 风格的搜索和数据分析引擎，能够解决不断涌现出的各种用例。

ElasticSearch 是用Java开发并且是当前最流行的开源的企业级搜索引擎。
能够达到实时搜索，稳定，可靠，快速，安装使用方便。
客户端支持Java、.NET（C#）、PHP、Python、Ruby等多种语言。

官网
下载

ElasticSearch 与 Lucene 的关系

Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库（框架）
但是想要使用Lucene，必须使用Java来作为开发语言并将其直接集成到你的应用中，并且Lucene的配置及使用非常复杂，需要深入了解检索的相关知识来理解它是如何工作的。

Lucene缺点：
1）只能在Java项目中使用,并且要以jar包的方式直接集成项目中.
2）使用非常复杂-创建索引和搜索索引代码繁杂
3）不支持集群环境-索引数据不同步（不支持大型项目）
4）索引数据如果太多就不行，索引库和应用所在同一个服务器,共同占用硬盘.共用空间少.

上述Lucene框架中的缺点, ES全部都能解决.

ElasticSearch 与 Solr

Solr

1. Solr 利用 Zookeeper 进行分布式管理，而Elasticsearch 自身带有分布式协调管理功能。
2. Solr 支持更多格式的数据，比如JSON、XML、CSV，而 Elasticsearch 仅支持json文件格式。
3. Solr 在传统的搜索应用中表现好于 Elasticsearch，但在处理实时搜索应用时效率明显低于 Elasticsearch。
4. Solr 是传统搜索应用的有力解决方案，但 Elasticsearch更适用于新兴的实时搜索应用。

比较

• 当单纯的对已有数据进行搜索时，Solr更快
• 当实时建立索引时, Solr会产生io阻塞，查询性能较差, Elasticsearch具有明显的优势
• 大型互联网公司，实际生产环境测试，将搜索引擎从Solr转到 ElasticSearch以后的平均查询速度有了50倍的提升

ElasticSearch 与 关系型数据库 概念类比

关系型数据库	Database(数据库)	Table(表)	Row(行)	Column(列)
ElasticSearch	Index(索引库)	Type(类型)	Document(文档)	Field(字段)

在6之前一个Index可以对应多个Type, 从6开始, 一个Index只能对应一个Type, 8将会移除Type概念

Lucene 全文检索框架

全文检索

• 通过一个程序扫描文本中的每一个单词，针对单词建立索引，并保存该单词在文本中的位置、以及出现的次数
• 用户查询时，通过之前建立好的索引来查询，将索引中单词对应的文本位置、出现的次数返回给用户，因为有了具体文本的位置，所以就可以将具体内容读取出来了

分词原理之倒排索引

通常我们根据id来找数据, 倒排索引是根据数据来找id

ElasticSearch 核心概念

索引 index

一个索引就是一个拥有几分相似特征的文档的集合。比如说，可以有一个客户数据的索引，另一个产品目录的索引，还有一个订单数据的索引

一个索引由一个名字来标识（必须全部是小写字母的），并且当我们要对对应于这个索引中的文档进行索引、搜索、更新和删除的时候，都要使用到这个名字

映射 mapping

ElasticSearch中的映射（Mapping）用来定义一个文档

mapping是处理数据的方式和规则方面做一些限制，如某个字段的数据类型、默认值、分词器、是否被索引等等，这些都是映射里面可以设置的

字段 Field

相当于是数据表的字段|列

字段类型 Type

每一个字段都应该有一个对应的类型，例如：Text、Keyword、Byte等

文档 document

一个文档是一个可被索引的基础信息单元，类似一条记录。文档以JSON（Javascript Object Notation）格式来表示

集群 cluster

一个集群就是由一个或多个节点组织在一起，它们共同持有整个的数据，并一起提供索引和搜索功能

节点 node

一个节点是集群中的一个服务器，作为集群的一部分，它存储数据，参与集群的索引和搜索功能

一个节点可以通过配置集群名称的方式来加入一个指定的集群。默认情况下，每个节点都会被安排加入到一个叫做“elasticsearch”的集群中

这意味着，如果在网络中启动了若干个节点，并假定它们能够相互发现彼此，它们将会自动地形成并加入到一个叫做“elasticsearch”的集群

在一个集群里，可以拥有任意多个节点。而且，如果当前网络中没有运行任何ElasticSearch节点，这时启动一个节点，会默认创建并加入一个叫做“elasticsearch”的集群

分片和副本 shards & replicas

分片

一个索引可以存储超出单个结点硬件限制的大量数据。比如，一个具有10亿文档的索引占据1TB的磁盘空间，而任一节点都没有这样大的磁盘空间；或者单个节点处理搜索请求，响应太慢

为了解决这个问题，ElasticSearch提供了将索引划分成多份的能力，这些份就叫做分片

当创建一个索引的时候，可以指定你想要的分片的数量

每个分片本身也是一个功能完善并且独立的“索引”，这个“索引”可以被放置到集群中的任何节点上

分片很重要，主要有两方面的原因

• 允许水平分割/扩展你的内容容量
• 允许在分片之上进行分布式的、并行的操作，进而提高性能/吞吐量

至于一个分片怎样分布，它的文档怎样聚合回搜索请求，是完全由ElasticSearch管理的，对于作为用户来说，这些都是透明的

在7之前, 默认是5个分片, 从7开始, 默认是1个分片

副本

在一个网络/云的环境里，失败随时都可能发生，在某个分片/节点不知怎么的就处于离线状态，或者由于任何原因消失了，这种情况下，有一个故障转移机制是非常有用并且是强烈推荐的。为此目的，ElasticSearch允许创建分片的一份或多份拷贝，这些拷贝叫做副本分片，或者直接叫副本

副本之所以重要，有两个主要原因

• 在分片/节点失败的情况下，提供了高可用性。注意到复制分片从不与原/主要（original/primary）分片置于同一节点上是非常重要的
• 扩展搜索量/吞吐量，因为搜索可以在所有的副本上并行运行，每个索引可以被分成多个分片。一个索引有0个或者多个副本，一旦设置了副本，每个索引就有了主分片和副本分片，分片和副本的数量可以在索引创建的时候指定，在索引创建之后，可以在任何时候动态地改变副本的数量，但是不能改变分片的数量

ElasticSearch 环境搭建

环境搭建

ElasticSearch 数据管理

ES是面向文档(document oriented)的，这意味着它可以存储整个对象或文档(document)。
然而它不仅仅是存储，还会索引(index)每个文档的内容使之可以被搜索。
在ES中，你可以对文档（而非成行成列的数据）进行索引、搜索、排序、过滤。
ES使用JSON作为文档序列化格式。
JSON现在已经被大多语言所支持，而且已经成为NoSQL领域的标准格式。

ES存储的一个员工文档的格式示例：

{
	"email": "584614151@qq.com",
	"name": "张三",
	"age": 30,
	"interests": [ "篮球", "健身" ]
}

基本操作

创建索引

格式: PUT /索引名称
举例: PUT /es

查询索引

格式: GET /索引名称
举例: GET /es

删除索引

格式: DELETE /索引名称
举例: DELETE /es

添加文档

格式: PUT /索引名称/类型/id
举例: 
举例: 
PUT /es/_doc/1
{
	"name": "张三",
	"sex": 1,
	"age": 25,
	"address": "广州天河公园",
	"remark": "java developer"
}

PUT /es/_doc/2
{
	"name": "李四",
	"sex": 1,
	"age": 28,
	"address": "广州荔湾大厦",
	"remark": "java assistant"
}

PUT /es/_doc/3
{
	"name": "rod",
	"sex": 0,
	"age": 26,
	"address": "广州白云山公园",
	"remark": "php developer"
}

PUT /es/_doc/4
{
	"name": "admin",
	"sex": 0,
	"age": 22,
	"address": "长沙橘子洲头",
	"remark": "python assistant"
}

PUT /es/_doc/5
{
	"name": "小明",
	"sex": 0,
	"age": 19,
	"address": "长沙岳麓山",
	"remark": "java architect assistant"
}

修改文档

格式: PUT /索引名称/类型/id
举例: 
PUT /es/_doc/1
{
	"name": "张三三",
	"sex": 1,
	"age": 25,
	"address": "张家界森林公园",
	"remark": "php developer assistant"				
}

注意:POST和PUT都能起到创建/更新的作用

• 需要注意的是 PUT 需要对一个具体的资源进行操作也就是要确定id才能进行更新/创建，而 POST 是可以针对整个资源集合进行操作的，如果不写id就由ES生成一个唯一id进行创建新文档，如果填了id那就针对这个id的文档进行创建/更新
• PUT只会将json数据都进行替换, POST只会更新相同字段的值
• PUT与DELETE都是幂等性操作, 即不论操作多少次, 结果都一样

查询文档

格式: GET /索引名称/类型/id
举例: GET /es/_doc/1

删除文档

格式: DELETE /索引名称/类型/id
举例: DELETE /es/_doc/1

Restful认识

Restful是一种面向资源的架构风格，可以简单理解为：使用URL定位资源，用HTTP动词（GET,POST,DELETE,PUT）描述操作。 基于Restful API ES和所有客户端的交互都是使用JSON格式的数据.

其他所有程序语言都可以使用RESTful API，通过9200端口的与ES进行通信

• GET 查询
• PUT 添加
• POST 修改
• DELETE 删除

get http://localhost:8080/employee/1   
 
get http://localhost:8080/employees

put http://localhost:8080/employee
{}

delete http://localhost:8080/employee/1

Post http://localhost:8080/employee/1
{}

使用Restful的好处：

• 透明性，暴露资源存在。
• 充分利用 HTTP 协议本身语义，不同请求方式进行不同的操作

ElasticSearch 基本查询操作

查询当前类型中的所有文档 _search

格式: GET /索引名称/类型/_search
举例: GET /es/_doc/_search
SQL:  select * from student

条件查询, 如要查询age等于28岁的 _search?q=:**

格式: GET /索引名称/类型/_search?q=*:***
举例: GET /es/_doc/_search?q=age:28
SQL:  select * from student where age = 28

范围查询, 如要查询age在25至26岁之间的 _search?q=*[ TO **] 注意: TO 必须为大写

格式: GET /索引名称/类型/_search?q=***[25 TO 26]
举例: GET /es/_doc/_search?q=age[25 TO 26]
SQL:  select * from student where age between 25 and 26

根据多个ID进行批量查询 _mget

格式: GET /索引名称/类型/_mget
举例: GET /es/_doc/_mget 
{
	"ids":["1","2"]  
}
SQL:  select * from student where id in (1,2)

查询年龄小于等于28岁的 :<=

格式: GET /索引名称/类型/_search?q=age:<=**
举例: GET /es/_doc/_search?q=age:<=28
SQL:  select * from student where age <= 28

查询年龄大于28前的 :>

格式: GET /索引名称/类型/_search?q=age:>**
举例: GET /es/_doc/_search?q=age:>28
SQL:  select * from student where age > 28

分页查询 from=&size=

格式: GET /索引名称/类型/_search?q=age[25 TO 26]&from=0&size=1
举例: 
GET /es/_search?q=age[25 TO 26]
GET /es/_search?q=age[25 TO 26]&from=0&size=1
GET /es/_search?q=age[25 TO 26]&from=1&size=1
SQL:  select * from student where age between 25 and 26 limit 0, 1 

对查询结果只输出某些字段 _source=字段,字段

格式: GET /索引名称/类型/_search?_source=字段,字段
举例: GET /es/_doc/_search?_source=name,age
SQL:  select name,age from student

对查询结果排序 sort=字段:desc/asc

格式: GET /索引名称/类型/_search?sort=字段 desc
举例: GET /es/_doc/_search?sort=age:desc
SQL:  select * from student order by age desc

ElasticSearch 基本批量操作

批量获取文档数据 _mapi

不在URL中指定index和type

• docs : 文档数组参数
• _index : 指定index
• _type : 指定type
• _id : 指定id
• _source : 指定要查询的字段

GET _mget
{
	"docs": [{
			"_index": "es",
			"_type": "_doc",
			"_id": 1
		},
		{
			"_index": "es",
			"_type": "_doc",
			"_id": 2
		}
	]
}

在URL中指定idnex

GET /es/_mget
{
	"docs": [{
			"_type": "_doc",
			"_id": 3
		},
		{
			"_type": "_doc",
			"_id": 4
		}
	]
}

GET /es/_mget
{
	"docs": [{
			"_id": 3
		},
		{
			"_id": 4
		}
	]
}

在URL中指定index和type

GET /es/_doc/_mget
{
	"docs": [{
			"_id": 1
		},
		{
			"_id": 2
		}
	]
}

GET /es/_mget
{
	"docs": [{
			"_id": 1
		},
		{
			"_id": 2
		}
	]
}

批量操作文档 _bulk

通过_bulk操作文档，一般至少有两行参数(或偶数行参数), 第一行参数为指定操作的类型及操作的对象(index,type和id), 第二行参数才是操作的数据

类似于

{"actionName":{"_index":"indexName", "_type":"typeName","_id":"id"}}
{"field1":"value1", "field2":"value2"}

actionName：表示操作类型，主要有create,index,delete和update

批量创建 create

POST _bulk
{"create":{"_index":"article", "_type":"_doc", "_id":3}}
{"id":3,"title":"a","content":"b","tags":["java", "面向对象"],"create_time":1554015482530}
{"create":{"_index":"article", "_type":"_doc", "_id":4}}
{"id":4,"title":"c","content":"d","tags":["java", "面向对象"],"create_time":1554015482530}

普通创建或全量替换 index

POST _bulk
{"index":{"_index":"article", "_type":"_doc", "_id":3}}
{"id":3,"title":"e","content":"f","tags":["java", "面向对象"],"create_time":1554015482530}
{"index":{"_index":"article", "_type":"_doc", "_id":4}}
{"id":4,"title":"g","content":"h","tags":["java", "面向对象"],"create_time":1554015482530}

如果原文档不存在，则是创建
如果原文档存在，则是替换(全量修改原文档)

批量删除 delete

POST _bulk
{"delete":{"_index":"article", "_type":"_doc", "_id":3}}
{"delete":{"_index":"article", "_type":"_doc", "_id":4}}

批量修改 update

POST _bulk
{"update":{"_index":"article", "_type":"_doc", "_id":3}}
{"doc":{"title":"ES大法必修内功"}}
{"update":{"_index":"article", "_type":"_doc", "_id":4}}
{"doc":{"create_time":1554018421008}}

文档映射

映射用来描述文档的结构和配置等信息, 可以分为动态映射和静态映射

• 动态映射： 在关系数据库中，需要事先创建数据库，然后在该数据库下创建数据表，并创建表字段、类型、长度、主键等，最后才能基于表插入数据。而Elasticsearch中不需要定义Mapping映射（即关系型数据库的表、字段等），在文档写入Elasticsearch时，会根据文档字段自动识别类型，这种机制称之为动态映射。
• 静态映射： 静态映射是在Elasticsearch中也可以事先定义好映射，包含文档的各字段类型、分词器等，这种方式称之为静态映射。

动态印射规则

JSON数据	推测类型
null	没有字段被添加
true/false	boolean
小数	float
数字	long
日期	date/text
字符串	text
数组	由其第一个非空值决定
JSON对象	object

// 获取印射
GET /es/_mapping

PUT test1
{
	"settings": {
		"number_of_shards": 10,
		"number_of_replicas": 1,
		"refresh_interval": "1s"
	},
	"mappings": {
		"properties": {
			"uid": {
				"type": "long"
			},
			"phone": {
				"type": "long"
			},
			"message": {
				"type": "text",
				"index": true,
				"store": false
			},
			"msgcode": {
				"type": "long"
			},
			"sendtime": {
				"type": "date",
				"format": "yyyy-MM-dd HH:mm:ss"
			}
		}
	}
}

• number_of_shards: 是设置的分片数，设置之后无法更改！
• number_of_replicas : 是设置该索引库的副本数，建议设置为1以上。
• refresh_interval: 是设置es缓存的刷新时间，如果写入较为频繁，但是查询对实时性要求不那么高的话，可以设置高一些来提升性能。可以更改

动态映射

创建索引后直接添加文档即可自动创建动态印射

静态印射

创建索引后再创建印射, 之后再添加数据

PUT /es
{
	"mappings": {
		"properties": {
			"name": {
				"type": "keyword",
				"index": true,
				"store": true
			},
			"sex": {
				"type": "integer",
				"index": true,
				"store": true
			},
			"age": {
				"type": "integer",
				"index": true,
				"store": true
			},
			"book": {
				"type": "text",
				"index": true,
				"store": true
			},
			"address": {
				"type": "text",
				"index": true,
				"store": true
			}
		}
	}
}

对已存在的mapping映射进行修改

在ES中，一个字段的mapping在定义并且导入数据之后是不能再修改的

1. 重新建立一个索引, 并创建静态印射
2. 然后把之前索引里的数据导入到新的索引里
3. 删除原创建的索引
4. 为新索引起个别名, 为原索引名

通过这几个步骤就实现了索引的平滑过渡, 并且是零停机

// 数据迁移(比_bluk快)
POST _reindex
{
	"source": {
		"index": "es"
	},
	"dest": {
		"index": "es2"
	}
}

DELETE /es

PUT /es2/_alias/es

常用核心类型（Core datatype）

• 字符串：string，string 类型包含 text 和 keyword。
  • text：该类型被用来索引长文本，在创建索引前会将这些文本进行分词，转化为词的组合，建立索引；允许es来检索这些词，text类型不能用来排序和聚合。
  • keyword：该类型不能分词，可以被用来检索过滤、排序和聚合，keyword类型不可用text进行分词模糊检索。
• 数值型：long、integer、short、byte、double、float
• 日期型：date
• 布尔型：boolean

keyword 与 text 映射类型的区别

按照官方文档的阐述，text类型的数据被用来索引长文本，例如电子邮件主体部分(正文)或者一款产品的介绍，这些文本会被分析，在建立索引文档之前会被分词器进行分词，转化为词组。经过分词机制之后es允许检索到该文本切分而成的词语，但是text类型的数据不能用来过滤、排序和聚合等操作。keyword类型的数据可以满足电子邮箱地址、主机名、状态码、邮政编码和标签等数据的要求，不进行分词，常常被用来过滤、排序和聚合。

综上，可以发现text类型在存储数据的时候会默认进行分词，并生成索引。而keyword存储数据的时候，不会分词建立索引，显然，这样划分数据更加节省内存。

这样，我们映射了某一个字段为keyword类型之后，就不用设置任何有关分词器的事情了，该类型就是默认不分词的文本数据类型。而对于text类型，我们还可以设置它的分词类型, 如下

PUT /es
{
	"mappings": {
		"properties": {
			"name": {
				"type": "keyword",
				"index": true,
				"store": true
			},
			"book": {
				"type": "text",
				"index": true,
				"store": true,
				"analyzer": "ik_smart",
				"search_analyzer": "ik_smart"
			}
		}
	}
}

• index: 该字段是否添加到倒序索引中, 只有添加到索引中, 依赖此值查找时才能找得到
  • keyword: 使用完整的值才能查到数据
  • text: 使用匹配分词结果中的任意一个词即可查到数据
• store: 该字段是否存储到数据表??? 通过测试发现即使store的值为false, 查询照样能看到字段的值, 原因参考如下

elasticsearch 设置 mapping 时的 store 属性
图解Elasticsearch中的_source、_all、store和index属性

ElasticSearch 乐观并发控制

• 悲观并发控制: 这种方法被关系型数据库广泛使用，它假定有变更冲突可能发生，因此阻塞访问资源以防止冲突。 一个典型的例子是读取一行数据之前先将其锁住，确保只有放置锁的线程能够对这行数据进行修改。
• 乐观并发控制: ElasticSearch 中使用的这种方法假定冲突是不可能发生的，并且不会阻塞正在尝试的操作。 然而，如果源数据在读写当中被修改，更新将会失败。应用程序接下来将决定该如何解决冲突。 例如，可以重试更新、使用新的数据、或者将相关情况报告给用户。

旧版本使用 _version

PUT /es/_doc/1?version=1
{
	"name": "Jack"
}

7.x 使用 seq_no 和 primary_term

• _seq_no：文档版本号，作用同_version, version是文档的属性, seq_no是索引的属性, 同一个索引中不同文档有不同version但会有相同seq_no
• _primary_term：每当 PrimaryShard发生重新分配时, 如重启, 选举等, _primary_term会递增1, 主要用来恢复数据时处理多个文档的_seq_no一样时的冲突, 如一个shard宕机, replica需要用到最新的数据, 就会根据_primary_term和_seq_no这两个值来拿到最新的文档

POST /es/_update/1
{
	"doc": {
		"name": "666"
	}
}


POST /es/_update/1/?if_seq_no=2&if_primary_term=1
{
	"doc": {
		"name": "777"
	}
}

POST /es/_update/1/?if_seq_no=2&if_primary_term=1
{
	"doc": {
		"name": "888"
	}
}