Kibana的基本操作
Kibanadang
就是一个发送http请求的工具
索引(Index)的基本操作
PUT /dangdang/ 创建索引 DELETE /dangdang 删除索引 DELETE /* 删除所有索引 GET /_cat/indices?v 查看索引信息 _cat 一组命令 可以查询es一些状态
类型(type)的基本操作
创建类型
1.创建/dangdang索引并创建(product)类型 PUT /dangdang { "mappings": { "product": { "properties": { "title": { "type": "text" }, "name": { "type": "text" }, "age": { "type": "integer" }, "created": { "type": "date", "format": "strict_date_optional_time||epoch_millis" } } } } } 注意: 这种方式创建类型要求索引不能存在
text:字符串 会被分词
keyword:字符串 不分词
少年的鲁迅 如果是text 类型 会被处理为 少年 鲁迅
如果是 keyword类型 少年的鲁迅 整体是一个词语
integer:整数
double:小数
date:日期
boolean:可用值true+false
查看类型
GET /dangdang/_mapping/product # 语法:GET /索引名/_mapping/类型名 GET /dangdang/_mapping
文档(document)的基本操作
添加文档
PUT /ems/emp/1 #/索引/类型/id { "name":"赵小六", "age":23, "bir":"2012-12-12", "content":"这是一个好一点的员工" }
PUT和POST都可以
-
POST 新增。如果不指定id,会自动生成id。 指定id就会修改这个数据,并新增版本号
-
PUT 可以新增可以修改。PUT必须指定id;由于PUT需要指定id,我们一般都用来做修改操作,不指定id会报错。
{ "_index": "ems", //索引名称 "_type": "emp", // 类型名称 "_id": "1", // id 如果添加会采用你添加的 如果不写会默认生成(POST会生成 PUT必须给id) "_version": 1, //版本号 "result": "created", "_shards": { "total": 2, "successful": 1, "failed": 0 }, "_seq_no": 0, "_primary_term": 1 }
查询文档
GET /ems/emp/1 返回结果: { "_index": "ems", "_type": "emp", "_id": "1", "_version": 1, "found": true, "_source": { // 查询结果 "name": "赵小六", "age": 23, "bir": "2012-12-12", "content": "这是一个好一点的员工" } }
删除文档
DELETE /ems/emp/1 { "_index": "ems", "_type": "emp", "_id": "1", "_version": 2, "result": "deleted", #删除成功 "_shards": { "total": 2, "successful": 1, "failed": 0 }, "_seq_no": 1, "_primary_term": 1 }
更新文档
1.第一种方式 更新原有的数据 POST /ems/emp/1/_update { "doc": { "name": "赵六", "age":45 } } 2.第二种方式 添加新的数据 增加一个新的字段 POST /ems/emp/1/_update { "doc": { "name": "赵六", "age":45, "dpet":"你好部门" } } 3.第三种方式 在原来数据基础上更新 在修改的时候通过脚本做运算 POST /ems/emp/1/_update { "script": "ctx._source.age += 5" } ctx._source 获取 _source 中的数据
批量操作
1. 批量索引两个文档 PUT /ems/emp/_bulk {"index":{"_id":"1"}} {"name": "John Doe","age":23,"bir":"2012-12-12"} {"index":{"_id":"2"}} {"name": "Jane Doe","age":23,"bir":"2012-12-12"} 2. 更新文档同时删除文档 POST /dangdang/emp/_bulk {"update":{"_id":"1"}} {"doc":{"name":"lisi"}} {"delete":{"_id":2}} {"index":{}} {"name":"xxx","age":23} 注意:批量时不会因为一个失败而全部失败,而是继续执行后续操作,批量在返回时按照执行的状态开始返回
ES中高级检索
https://www.elastic.co/guide/en/elasticsearch/reference/6.4/search.html
测试数据
1.删除索引 DELETE /ems 2.创建索引并指定类型 PUT /ems { "mappings":{ "emp":{ "properties":{ "name":{ "type":"text" }, "age":{ "type":"integer" }, "bir":{ "type":"date" }, "content":{ "type":"text" }, "address":{ "type":"keyword" } } } } } 3.插入测试数据 PUT /ems/emp/_bulk {"index":{}} {"name":"小黑","age":23,"bir":"2012-12-12","content":"为开发团队选择一款优秀的MVC框架是件难事儿,在众多可行的方案中决择需要很高的经验和水平","address":"北京"} {"index":{}} {"name":"王小黑","age":24,"bir":"2012-12-12","content":"Spring 框架是一个分层架构,由 7 个定义良好的模块组成。Spring 模块构建在核心容器之上,核心容器定义了创建、配置和管理 bean 的方式","address":"上海"} {"index":{}} {"name":"张小五","age":8,"bir":"2012-12-12","content":"Spring Cloud 作为Java 语言的微服务框架,它依赖于Spring Boot,有快速开发、持续交付和容易部署等特点。Spring Cloud 的组件非常多,涉及微服务的方方面面,井在开源社区Spring 和Netflix 、Pivotal 两大公司的推动下越来越完善","address":"无锡"} {"index":{}} {"name":"win7","age":9,"bir":"2012-12-12","content":"Spring的目标是致力于全方位的简化Java开发。 这势必引出更多的解释, Spring是如何简化Java开发的?","address":"南京"} {"index":{}} {"name":"梅超风","age":43,"bir":"2012-12-12","content":"Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API","address":"杭州"} {"index":{}} {"name":"张无忌","age":59,"bir":"2012-12-12","content":"ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口","address":"北京"}
检索方式
ES官方提供了两中检索方式:一种是通过 URL 参数进行搜索,另一种是通过 DSL(Domain Specified Language) 进行搜索。官方更推荐使用第二种方式第二种方式是基于传递JSON作为请求体(request body)格式与ES进行交互,这种方式更强大,更简洁。
ES支持两种基本方式检索
-
一个是通过使用 REST requestURI发送搜索参数(uri+检索参数)
-
另一个是通过使用REST request body来发送它们(uri+请求体)【推荐使用】
URL检索
GET /ems/emp/_search?q=*&sort=age:asc
_search 搜索的API q=* 匹配所有文档 sort 以结果中的指定字段排序
DSL检索
在 es 中,DSL 是通过 json 的方式表达请求主体
演示 查询所有
响应结果解释:
took Elasticsearch 执行搜索的时间(毫秒) time_out 告诉我们搜索是否超时 _shards 告诉我们多少个分片被搜索了,以及统计了成功/失败的搜索分片 hits 搜索结果 hits.total 搜索结果 hits.hits 实际的搜索结果数组(默认为前10的文档) sort 结果的排序key (键) (没有则按 score 排序) score 和 max_score 相关性得分和最高得分(全文检索用)
GET /ems/emp/_search { "query": {"match_all": {}}, "sort": [ { "age": { "order": "desc" } } ] }
query 定义查询类型
sort 排序
size from 分页
查询所有(match_all)
match_all关键字: 返回索引中的全部文档
GET /ems/emp/_search { "query": { "match_all": {} } }
查询结果中返回指定条数(size)
size 关键字: 指定查询结果中返回指定条数。 默认返回值10条
GET /ems/emp/_search { "query": { "match_all": {} }, "size": 1 }
分页查询(from)
from 关键字: 用来指定起始返回位置,和size关键字连用可实现分页效果
GET /ems/emp/_search { "query": {"match_all": {}}, "sort": [ { "age": { "order": "desc" } } ], "size": 2, "from": 1 }
查询结果中返回指定字段(_source)
_source 关键字: 是一个数组,在数组中用来指定展示那些字段
GET /ems/emp/_search { "query": { "match_all": {} }, "_source": ["account_number", "balance"] }
关键词查询(term)
term 关键字: 用来使用关键词查询
GET /ems/emp/_search { "query": { "term": { "address": { "value": "北京" } } } } es 默认使用分词器是单个分词 一个字儿是一个词 term 查询 搜索关键词不分词 开发 当做一个词儿
NOTE1: 通过使用term查询得知ES中默认使用分词器为标准分词器(StandardAnalyzer),标准分词器对于英文单词分词,对于中文 单字分词。
NOTE2: 通过使用term查询得知,在ES的Mapping Type 中 keyword , date ,integer, long , double , boolean or ip 这些类型不分词,只有text类型分词。
match 全文检索
搜索关键词也会被分词处理
GET /ems/emp/_search { "query": { "match": { "content": "开发公司有哪些" } } }
范围查询(range)
range 关键字: 用来指定查询指定范围内的文档
GET /ems/emp/_search { "query": { "range": { "age": { "gte": 8, "lte": 30 } } } }
前缀查询(prefix)
prefix 关键字: 用来检索含有指定前缀的关键词的相关文档
GET /ems/emp/_search { "query": { "prefix": { "content": { "value": "redis" } } } }
通配符查询(wildcard)
wildcard 关键字: 通配符查询 ? 用来匹配一个任意字符 * 用来匹配多个任意字符
GET /ems/emp/_search { "query": { "wildcard": { "content": { "value": "re*" } } } }
多id查询(ids)
ids 关键字 : 值为数组类型,用来根据一组id获取多个对应的文档
GET /ems/emp/_search { "query": { "ids": { "values": ["lg5HwWkBxH7z6xax7W3_","lQ5HwWkBxH7z6xax7W3_"] } } }
模糊查询(fuzzy)
fuzzy 关键字: 用来模糊查询含有指定关键字的文档
GET /ems/emp/_search { "query": { "fuzzy": { "content":"spring" } } }
布尔查询(bool)
bool 关键字: 用来组合多个条件实现复杂查询
must: 相当于&& 同时成立 &
should: 相当于|| 成立一个就行 |
must_not: 相当于! 不能满足任何一个
GET /ems/emp/_search { "query": { "bool": { "must": [ { "range": { "age": { "gte": 0, "lte": 30 } } } ], "must_not": [ {"wildcard": { "content": { "value": "redi?" } }} ] } }, "sort": [ { "age": { "order": "desc" } } ] }
高亮查询(highlight)
highlight 关键字: 可以让符合条件的文档中的关键词高亮
GET /ems/emp/_search { "query":{ "match": { "content":"框架" } }, "highlight": { "fields": { "*":{} } } }
自定义高亮html标签: 可以在highlight中使用
pre_tags
和post_tags
GET /ems/emp/_search { "query":{ "match": { "content":"框架" } }, "highlight": { "pre_tags": ["<span style='color:red'>"], "post_tags": ["</span>"], "fields": { "*":{} } } }
多字段高亮 使用
require_field_match
开启多个字段高亮
GET /ems/emp/_search { "query":{ "term":{ "content":"框架" } }, "highlight": { "pre_tags": ["<span style='color:red'>"], "post_tags": ["</span>"], "require_field_match":false, "fields": { "*":{} } } }
多字段查询(multi_match)
GET /ems/emp/_search { "query": { "multi_match": { "query": "中国", "fields": ["name","content"] #这里写要检索的指定字段 } } }
过滤查询
其实准确来说,ES中的查询操作分为2种: 查询(query)和过滤(filter)。
-
查询就是之前讲的query查询,它 (查询)默认会计算每个返回文档的得分,然后根据得分排序。
-
过滤(filter)只会筛选出符合的文档,并不计算得分,且它可以缓存文档 。所以,单从性能考虑,过滤比查询更快。
换句话说,过滤适合在大范围筛选数据,而查询则适合精确匹配数据。一般应用时, 应先使用过滤操作过滤数据, 然后使用查询匹配数据。
在执行filter和query时,先执行filter再执行query
ElasticSearch会自动缓存经常使用的过滤器,以加快性能
先使用 过滤操作 可以筛选掉一部分不需要参与计算的数据
再执行 query 操作进行查询
常用过滤器类型:term/terms/range/exists/ids
聚合分析 aggregation 【了解】
类似于mysql的分组函数和函数(最大值 最小值 平均值)
语法结构
"aggregations" : { "<aggregation_name>" : { "<aggregation_type>" : { <aggregation_body> } [,"meta" : { [<meta_data_body>] } ]? [,"aggregations" : { [<sub_aggregation>]+ } ]? } [,"<aggregation_name_2>" : { ... } ]* }
计算年龄的平均值
GET /ems/emp/_search { "query": { "match_all": {} }, "aggs": { "ageAvg": { "avg": { "field": "age" } } }, "size": 0 }
按照年龄统计个数
terms 分组
GET /ems/emp/_search { "query": { "match_all": {} }, "aggs": { "ageAvg": { "avg": { "field": "age" } }, "ageCount":{ "terms": { "field": "age", "size": 10 } } }, "size": 0 }
按照地区分组,再分组的基础上计算年龄最大值
GET ems/emp/_search { "query": { "match_all": {} }, "aggs": { "age_count": { "terms": { "field": "address", "size": 10 }, "aggs": { "age_max2": { "max": { "field": "age" } } } } }, "size": 0 }