1.Postman工具说明:
- 1.如果直接通过浏览器向 Elasticsearch 服务器发请求,那么需要在发送的请求中包含HTTP 标准的方法,而 HTTP 的大部分特性且仅支持 GET 和 POST 方法。所以为了能方便地进行客户端的访问,可以使用
Postman
软件- Postman 是一款强大的网页调试工具,提供功能强大的 Web API 和 HTTP 请求调试。软件功能强大,界面简洁明晰、操作方便快捷,设计得很人性化。Postman 中文版能够发送任何类型的 HTTP 请求 (GET, HEAD, POST, PUT…),不仅能够表单提交,且可以附带任意类型请求体。
- Postman 官网
- Postman 下载
2.索引库操作:
- 1.索引库就类似数据库表,
mapping映射就类似表的结构
- 2.我们要向es中存储数据,必须先创建“库”和“表”
2.1."_cat"集群命令:
GET /_cat/nodes #查看所有节点。集群中会用到
GET /_cat/health #查看es健康状况
GET /_cat/master #查看主节点
GET /_cat/indices #查看所有索引 ,等价于mysql数据库的show databases;
2.2.映射:
a.映射操作:
- 1.有了
索引库
,等于有了数据库database - 2.下面就需要建索引库(index)中的
映射了
,类似于数据库(database)中的表结构(table)
- 3.创建
数据库表
需要设置字段名称,类型,长度,约束等
,索引库
也一样,需要知道这个类型下有哪些字段,每个字段有哪些约束信息
,这就叫做映射(mapping)
b.创建映射:
- 1.在 Postman 中,向 ES 服务器发
PUT
请求 :http://127.0.0.1:9200/student/_mapping
,请求体内容为:
{
"properties": {
"name":{
"type": "text",
"index": true
},
"sex":{
"type": "text",
"index": false
},
"age":{
"type": "long",
"index": false
}
}
}
- 2.Kibana方式添加映射:
PUT /索引库名称
{
"mappings": {
"properties": {
"字段名":{
"type": "text",
"analyzer": "ik_smart"
},
"字段名2":{
"type": "keyword",
"index": "false"
},
"字段名3":{
"properties": {
"子字段": {
"type": "keyword"
}
}
}
#, ...略
}
}
}
- 3.服务器响应结果如下:
c.映射属性说明:
- 1.字段名:任意填写,下面指定许多属性,例如:title、subtitle、images、price
- 2.
type
:类型,Elasticsearch 中支持的数据类型非常丰富,说几个关键的:- 字符串:又分两种:
- text(可分词的文本)
- keyword(不可分词的精确值,例如:品牌、国家、ip地址),数据会作为完整字段进行匹配
- Numerical:数值类型,分两类
- 基本数据类型:long、integer、short、byte、double、float、half_float
- 浮点数的高精度类型:scaled_float
- 布尔:boolean
- 日期:date
- Array:数组类型
- 对象:object
- Es的数组类型:es数组类型不用特别定义,支持每个字段有多个值,效果就相当于数组。例如索引库里"score":{“tupe”:“integer”},文档可以"score":[1,2,3,4,5]
- 字符串:又分两种:
- 3.
index
:是否索引,默认为 true,也就是说你不进行任何配置,所有字段都会被索引。- true:字段会被索引,则
可以用来进行搜索
false
:字段不会被索引,不能用来搜索
- true:字段会被索引,则
- 4.
store
:是否将数据进行独立存储,默认为 false- 原始的文本会存储在_source 里面,默认情况下其他提取出来的字段都不是独立存储的,是从_source 里面提取出来的。当然你也可以独立的存储某个字段,只要设置"store": true 即可,获取独立存储的字段要比从_source 中解析快得多,但是也会占用更多的空间,所以要根据实际业务需求来设置。
- 5.
analyzer
:分词器,这里的 ik_max_word 即使用 ik 分词器,后面会有专门的章节学习,使用哪种分词器,注意只有text类型可以设置分词器,其他类型设置分词器会报mapper_parsing_exception - 6.properties:该字段的子字段
- 7.doc_values:
是否可以被聚合
,默认为true。- 桶(Bucket)聚合:用来对文档做分组
- 度量(Metric)聚合:用以计算一些值,比如:最大值、最小值、平均值等
- 管道(pipeline)聚合:其它聚合的结果为基础做聚合
- aggs代表聚合,与query同级,此时query的作用是限定聚合的的文档范围
d.查看映射
- 1.在 Postman 中,向 ES 服务器发
GET
请求 :http://127.0.0.1:9200/student/_mapping
索引映射关联
2.3.索引的CRUD:
对比关系数据库,
创建索引就等同创建数据库
增删改查简洁版
- 1.创建索引库:PUT /索引库名
- 2.查询索引库:GET /索引库名
- 3.删除索引库:DELETE /索引库名
- 4.修改,只能是添加字段情况的修改:PUT /索引库名/_mapping
a.创建索引:
- 1.Kibana方式发送添加索引的请求:
- 2.在 Postman 中,向 ES 服务器发
PUT
请求 :http://127.0.0.1:9200/shopping
,PUT请求具有幂等性,相同的请求如果再次请求的时候,会报错:
- 3.返回结果:
{
"acknowledged"【响应结果】: true, # true 操作成功
"shards_acknowledged"【分片结果】: true, # 分片操作成功
"index"【索引名称】: "shopping"
}
- 4.创建索引库的分片数默认是1片,
在 7.0.0 之前的 Elasticsearch 版本中,默认 5 片
,在Kibana操作创建索引时,设置其分片数:
PUT /haoke
{
"settings": {
"index": {
"number_of_shards": "2", #分片数
"number_of_replicas": "0" #副本数
}
}
}
b.查询索引:
b1.查询所有索引:
- 1.在 Postman 中,向 ES 服务器发
GET
请求 :http://127.0.0.1:9200/_cat/indices?v
- 2.这里请求路径中的
_cat
表示查看的意思,indices 表示索引
,所以整体含义就是查看当前 ES服务器中的所有索引,就好像 MySQL 中的 show tables 的感觉
,服务器响应结果如下:
- 3.返回值各个字段代表的含义:
b2.查看单个索引:
- 1.在 Postman 中,向 ES 服务器发
GET
请求 :http://127.0.0.1:9200/shopping
: - 2.Kibana方式查询索引:
- 3.返回值:
{
"shopping"【索引名】: {
"aliases"【别名】: {},
"mappings"【映射】: {},
"settings"【设置】: {
"index"【设置 - 索引】: {
"creation_date"【设置 - 索引 - 创建时间】: "1614265373911",
"number_of_shards"【设置 - 索引 - 主分片数量】: "1",
"number_of_replicas"【设置 - 索引 - 副分片数量】: "1",
"uuid"【设置 - 索引 - 唯一标识】: "eI5wemRERTumxGCc1bAk2A",
"version"【设置 - 索引 - 版本】: {
"created": "7080099"
},
"provided_name"【设置 - 索引 - 名称】: "shopping"
}
}
}
}
c.删除索引:
- 1.在Postman 中,向 ES 服务器发
DELETE
请求 :http://127.0.0.1:9200/shopping
d.更改索引:
- 1.倒排索引结构虽然不复杂,但是一旦数据结构改变(比如改变了分词器),就需要重新创建倒排索引,这简直是灾难。因此索引库一旦创建,无法修改mapping
- 2.虽然无法修改mapping中已有的字段,但是却允许添加新的字段到mapping中,因为不会对倒排索引产生影响
- 3.语法说明:
PUT /索引库名/_mapping
{
"properties": {
"新字段名":{
"type": "integer"
}
}
}
- 4.测试案例:
注意:
1.修改只能追加新字段
,不能修改原索引
2.注意区分修改和新增,两者都是put,但修改路径最后面有个/_mapping
,json最外圈没有"mappings":{}
2.4.文档的CRUD:
增删改的简洁版:
- 创建文档:POST /{索引库名}/_doc/文档id { json文档 }
- 查询文档:GET /{索引库名}/_doc/文档id
- 删除文档:DELETE /{索引库名}/_doc/文档id
- 修改文档:
- 全量修改:PUT /{索引库名}/_doc/文档id { json文档 }
- 增量修改:POST /{索引库名}/_update/文档id { “doc”: {字段}}
a.添加文档:
- 1.索引已经创建好,下面来创建文档,并添加数据。这里的文档可以
类比为关系型数据库中的表数据
,添加的数据格式为 JSON 格式 - 2.在 Postman 中,向 ES 服务器发
POST
请求 :http://127.0.0.1:9200/shopping/_doc
,请求体的内容如下:
- 3.Kibana方式添加文档:
#也可以用postman发post请求ip:9200/索引库名/_doc/文档id,带json数据实现
POST /索引库名/_doc/文档id
{
"字段1": "值1",
"字段2": "值2",
"字段3": {
"子属性1": "值3",
"子属性2": "值4"
},
# ...
}
- 4.此处发送请求的方式必须为 POST,不能是 PUT,否则会发生错误;
- 5.返回的结果:
{
"_index"【索引】: "shopping",
"_type"【类型-文档】: "_doc",
"_id"【唯一标识】: "Xhsa2ncBlvF_7lxyCE9G", #可以类比为 MySQL 中的主键,随机生成
"_version"【版本】: 1,
"result"【结果】: "created", #这里的 create 表示创建成功
"_shards"【分片】: {
"total"【分片 - 总数】: 2,
"successful"【分片 - 成功】: 1,
"failed"【分片 - 失败】: 0
},
"_seq_no": 0,
"_primary_term": 1
}
- 6.上面的数据创建后,由于没有指定数据唯一性标识(ID),默认情况下,ES 服务器会随机生成一个。如果想要自定义唯一性标识,需要在创建时指定:
POST:http://127.0.0.1:9200/shopping/_doc/1
- 7.注意:如果
增加数据时
明确数据主键,那么请求方式也可以为PUT
:
b.查询文档:
b1.查询某一条文档数据:
- 1.查询文档时,需
要指明文档的唯一性标识
,类似于 MySQL 中数据的主键查询在 Postman 中,向 ES 服务器发GET
请求 :http://127.0.0.1:9200/shopping/_doc/1
{
"_index"【索引】: "shopping",
"_type"【文档类型】: "_doc",
"_id": "1",
"_version": 2,
"_seq_no": 2,
"_primary_term": 2,
"found"【查询结果】: true, # true 表示查找到,false 表示未查找到
"_source"【文档源信息】: {
"title": "华为手机",
"category": "华为",
"images": "http://www.gulixueyuan.com/hw.jpg",
"price": 4999.00
}
}
- 2.查询举例:
b2.查询索引下的所有数据:
b3.条件查询:
1.全文检索匹配:
match
:是全文检索匹配,可以匹配仅有小字、米字、及其小米的这三类都可以查询出来。
2.
完全匹配
查询:
3.显示全部字段数据:
4.条件分页查询:显示部分字段数据及限制结果按照某个字段降序排序:
5.多条件组合查询,条件是
且
进行查询:
6.多条件组合查询,条件是
或
进行查询:
7.在上述
或
条件查询的基础上添加了范围查询
:
8.聚合查询文档:
c.修改文档:
c1.全量修改
- 1.和新增文档一样,输入相同的 URL 地址请求,如果请求体变化,会将原有的数据内容覆盖,在 Postman 中,向 ES 服务器发
POST
请求 :http://127.0.0.1:9200/shopping/_doc/1
,请求体内容为:
{
"title":"华为手机",
"category":"华为",
"images":"http://www.gulixueyuan.com/hw.jpg",
"price":4999.00
}
- 2.Kibana方式修改文档:
#POST也是全量修改
PUT /{索引库名}/_doc/文档id
{
"字段1": "值1",
"字段2": "值2",
// ... 略
}
3.修改成功后,服务器响应结果:
{
"_index": "shopping",
"_type": "_doc",
"_id": "1",
"_version"【版本】: 2,
"result"【结果】: "updated", # updated 表示数据被更新
"_shards": {
"total": 2,
"successful": 1,
"failed": 0
},
"_seq_no": 2,
"_primary_term": 2
}
c2.增量修改数据:
- 1.修改数据也可以只修改某一条数据的局部信息,修改字段的值,在 Postman 中,向 ES 服务器发 POST 请求 :
http://127.0.0.1:9200/shopping/_update/1
;请求体内容为:
{
"doc": {
"price":3000.00
}
}
- 2.Kibana方式增量修改数据:
POST /{索引库名}/_update/文档id
{
"doc": {
"字段名": "新的值",
}
}
d.删除文档
d1.根据id删除:
- 1.删除一个文档
不会立即从磁盘上移除
,它只是被标记成已删除(逻辑删除)
。 - 2.在 Postman 中,向 ES 服务器发
DELETE
请求 :http://127.0.0.1:9200/shopping/_doc/1
- 3.返回的结果:
{
"_index": "shopping",
"_type": "_doc",
"_id": "1",
"_version"【版本】: 4, #对数据的操作,都会更新版本
"result"【结果】: "deleted", # deleted 表示数据被标记为删除
"_shards": {
"total": 2,
"successful": 1,
"failed": 0
},
"_seq_no": 4,
"_primary_term": 2
}
d2.条件删除文档:
- 1.一般删除数据都是根据文档的唯一性标识进行删除,实际操作时,也可以
根据条件对多条数据进行删除
: - 2.向 ES 服务器发
POST
请求 :http://127.0.0.1:9200/shopping/_delete_by_query
,请求体内容为:
{
"query":{
"match":{
"price":4000.00
}
}
}
- 3.删除成功后,服务器响应结果:
{
"took"【耗时】: 175,
"timed_out"【是否超时】: false,
"total"【总数】: 2,
"deleted"【删除数量】: 2,
"batches": 1,
"version_conflicts": 0,
"noops": 0,
"retries": {
"bulk": 0,
"search": 0
},
"throttled_millis": 0,
"requests_per_second": -1.0,
"throttled_until_millis": 0,
"failures": []
}