ES的使用和Kibana的基本操作

Kibana的基本操作

Kibanadang

就是一个发送http请求的工具

 

索引(Index)的基本操作

PUT /dangdang/              创建索引
DELETE /dangdang            删除索引
DELETE /*                   删除所有索引
GET /_cat/indices?v         查看索引信息
​
_cat 一组命令 可以查询es一些状态

 

类型(type)的基本操作

创建类型

1.创建/dangdang索引并创建(product)类型
PUT /dangdang             
{
  "mappings": {
    "product": {
      "properties": {
            "title":    { "type": "text"  },
            "name":     { "type": "text"  },
            "age":      { "type": "integer" },
            "created":  {
                 "type":   "date",
                 "format": "strict_date_optional_time||epoch_millis"
                }
            }
        }
    }
}
注意: 这种方式创建类型要求索引不能存在

text:字符串 会被分词

keyword:字符串 不分词

少年的鲁迅 如果是text 类型 会被处理为 少年 鲁迅

如果是 keyword类型 少年的鲁迅 整体是一个词语

integer:整数

double:小数

date:日期

boolean:可用值true+false

查看类型

GET /dangdang/_mapping/product # 语法:GET /索引名/_mapping/类型名
​
GET /dangdang/_mapping

 

文档(document)的基本操作

添加文档

PUT /ems/emp/1   #/索引/类型/id
{
  "name":"赵小六",
  "age":23,
  "bir":"2012-12-12",
  "content":"这是一个好一点的员工"
}

PUT和POST都可以

  • POST 新增。如果不指定id,会自动生成id。 指定id就会修改这个数据,并新增版本号

  • PUT 可以新增可以修改。PUT必须指定id;由于PUT需要指定id,我们一般都用来做修改操作,不指定id会报错。

 

{
  "_index": "ems",  //索引名称
  "_type": "emp",  // 类型名称
  "_id": "1", // id 如果添加会采用你添加的 如果不写会默认生成(POST会生成 PUT必须给id)
  "_version": 1, //版本号
  "result": "created", 
  "_shards": {
    "total": 2,
    "successful": 1,
    "failed": 0
  },
  "_seq_no": 0, 
  "_primary_term": 1
}

 

查询文档

GET /ems/emp/1 
​
返回结果:
{
  "_index": "ems",
  "_type": "emp",
  "_id": "1",
  "_version": 1,
  "found": true,
  "_source": {  // 查询结果
    "name": "赵小六",
    "age": 23,
    "bir": "2012-12-12",
    "content": "这是一个好一点的员工"
  }
}

删除文档

DELETE /ems/emp/1
{
  "_index": "ems",
  "_type": "emp",
  "_id": "1",
  "_version": 2,
  "result": "deleted", #删除成功
  "_shards": {
    "total": 2,
    "successful": 1,
    "failed": 0
  },
  "_seq_no": 1,
  "_primary_term": 1
}

更新文档

1.第一种方式  更新原有的数据
 POST /ems/emp/1/_update
{
  "doc": {
    "name": "赵六",
    "age":45
  }
}
​
2.第二种方式  添加新的数据  增加一个新的字段
   POST /ems/emp/1/_update
{
  "doc": {
    "name": "赵六",
    "age":45,
    "dpet":"你好部门"
  }
} 
3.第三种方式 在原来数据基础上更新  在修改的时候通过脚本做运算
POST /ems/emp/1/_update
{
"script": "ctx._source.age += 5"
}
​
ctx._source 获取 _source 中的数据

 

批量操作

 

1. 批量索引两个文档
    PUT /ems/emp/_bulk
    {"index":{"_id":"1"}} 
        {"name": "John Doe","age":23,"bir":"2012-12-12"}
    {"index":{"_id":"2"}}  
        {"name": "Jane Doe","age":23,"bir":"2012-12-12"}
    
2. 更新文档同时删除文档
    POST /dangdang/emp/_bulk
        {"update":{"_id":"1"}}
            {"doc":{"name":"lisi"}}
        {"delete":{"_id":2}}
        {"index":{}}
            {"name":"xxx","age":23}
 
注意:批量时不会因为一个失败而全部失败,而是继续执行后续操作,批量在返回时按照执行的状态开始返回

 

ES中高级检索

https://www.elastic.co/guide/en/elasticsearch/reference/6.4/search.html

测试数据

1.删除索引
DELETE /ems
​
2.创建索引并指定类型
PUT /ems
{
  "mappings":{
    "emp":{
      "properties":{
        "name":{
          "type":"text"
        },
        "age":{
          "type":"integer"
        },
        "bir":{
          "type":"date"
        },
        "content":{
          "type":"text"
        },
        "address":{
          "type":"keyword"
        }
      }
    }
  }
}
​
3.插入测试数据
PUT /ems/emp/_bulk
  {"index":{}}
  {"name":"小黑","age":23,"bir":"2012-12-12","content":"为开发团队选择一款优秀的MVC框架是件难事儿,在众多可行的方案中决择需要很高的经验和水平","address":"北京"}
  {"index":{}}
  {"name":"王小黑","age":24,"bir":"2012-12-12","content":"Spring 框架是一个分层架构,由 7 个定义良好的模块组成。Spring 模块构建在核心容器之上,核心容器定义了创建、配置和管理 bean 的方式","address":"上海"}
  {"index":{}}
  {"name":"张小五","age":8,"bir":"2012-12-12","content":"Spring Cloud 作为Java 语言的微服务框架,它依赖于Spring Boot,有快速开发、持续交付和容易部署等特点。Spring Cloud 的组件非常多,涉及微服务的方方面面,井在开源社区Spring 和Netflix 、Pivotal 两大公司的推动下越来越完善","address":"无锡"}
  {"index":{}}
  {"name":"win7","age":9,"bir":"2012-12-12","content":"Spring的目标是致力于全方位的简化Java开发。 这势必引出更多的解释, Spring是如何简化Java开发的?","address":"南京"}
  {"index":{}}
  {"name":"梅超风","age":43,"bir":"2012-12-12","content":"Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API","address":"杭州"}
  {"index":{}}
  {"name":"张无忌","age":59,"bir":"2012-12-12","content":"ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口","address":"北京"}

 

检索方式

ES官方提供了两中检索方式:一种是通过 URL 参数进行搜索,另一种是通过 DSL(Domain Specified Language) 进行搜索官方更推荐使用第二种方式第二种方式是基于传递JSON作为请求体(request body)格式与ES进行交互,这种方式更强大,更简洁

ES支持两种基本方式检索

  • 一个是通过使用 REST requestURI发送搜索参数(uri+检索参数)

     

  • 另一个是通过使用REST request body来发送它们(uri+请求体)【推荐使用】

     

     

     

URL检索

GET /ems/emp/_search?q=*&sort=age:asc

_search 搜索的API ​ q=* 匹配所有文档 ​ sort 以结果中的指定字段排序

DSL检索

 

 

在 es 中,DSL 是通过 json 的方式表达请求主体

 

演示 查询所有

 

 

响应结果解释:

took Elasticsearch 执行搜索的时间(毫秒) time_out 告诉我们搜索是否超时 _shards 告诉我们多少个分片被搜索了,以及统计了成功/失败的搜索分片 hits 搜索结果 hits.total 搜索结果 hits.hits 实际的搜索结果数组(默认为前10的文档) sort 结果的排序key (键) (没有则按 score 排序) score 和 max_score 相关性得分和最高得分(全文检索用)

GET /ems/emp/_search
{
    "query": {"match_all": {}},
    "sort": [
        {
            "age": {
                "order": "desc"
            }
        }
    ]
}
​

query 定义查询类型

 

sort 排序

size from 分页

 

查询所有(match_all)

match_all关键字: 返回索引中的全部文档

GET /ems/emp/_search
{
    "query": { "match_all": {} }
}   

 

查询结果中返回指定条数(size)

size 关键字: 指定查询结果中返回指定条数。 默认返回值10条

GET /ems/emp/_search
{
    "query": { "match_all": {} },
    "size": 1
}   

 

分页查询(from)

from 关键字: 用来指定起始返回位置,和size关键字连用可实现分页效果

GET /ems/emp/_search
{
      "query": {"match_all": {}},
      "sort": [
        {
          "age": {
            "order": "desc"
          }
        }
      ],
      "size": 2, 
      "from": 1
}

 

查询结果中返回指定字段(_source)

_source 关键字: 是一个数组,在数组中用来指定展示那些字段

GET /ems/emp/_search
{
      "query": { "match_all": {} },
      "_source": ["account_number", "balance"]
}

 

关键词查询(term)

term 关键字: 用来使用关键词查询

GET /ems/emp/_search
{
  "query": {
    "term": {
      "address": {
        "value": "北京"
      }
    }
  }
}
​
es 默认使用分词器是单个分词 一个字儿是一个词 
​
term 查询 搜索关键词不分词 开发 当做一个词儿  

NOTE1: 通过使用term查询得知ES中默认使用分词器为标准分词器(StandardAnalyzer),标准分词器对于英文单词分词,对于中文 单字分词

NOTE2: 通过使用term查询得知,在ES的Mapping Type 中 keyword , date ,integer, long , double , boolean or ip 这些类型不分词只有text类型分词

match 全文检索

搜索关键词也会被分词处理

GET /ems/emp/_search
{
  "query": {
    "match": {
      "content": "开发公司有哪些"
    }
  }
}

 

范围查询(range)

range 关键字: 用来指定查询指定范围内的文档

GET /ems/emp/_search
{
  "query": {
    "range": {
      "age": {
        "gte": 8,
        "lte": 30
      }
    }
  }
}

前缀查询(prefix)

prefix 关键字: 用来检索含有指定前缀的关键词的相关文档

GET /ems/emp/_search
{
  "query": {
    "prefix": {
      "content": {
        "value": "redis"
      }
    }
  }
}

通配符查询(wildcard)

wildcard 关键字: 通配符查询 ? 用来匹配一个任意字符 * 用来匹配多个任意字符

GET /ems/emp/_search
{
  "query": {
    "wildcard": {
      "content": {
        "value": "re*"
      }
    }
  }
}

多id查询(ids)

ids 关键字 : 值为数组类型,用来根据一组id获取多个对应的文档

GET  /ems/emp/_search
{
  "query": {
    "ids": {
      "values": ["lg5HwWkBxH7z6xax7W3_","lQ5HwWkBxH7z6xax7W3_"]
    }
  }
}

模糊查询(fuzzy)

fuzzy 关键字: 用来模糊查询含有指定关键字的文档

GET /ems/emp/_search
{
  "query": {
    "fuzzy": {
      "content":"spring"
    }
  }
}

布尔查询(bool)

bool 关键字: 用来组合多个条件实现复杂查询

must: 相当于&& 同时成立 &

should: 相当于|| 成立一个就行 |

must_not: 相当于! 不能满足任何一个

GET /ems/emp/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "range": {
            "age": {
              "gte": 0,
              "lte": 30
            }
          }
        }
      ],
      "must_not": [
        {"wildcard": {
          "content": {
            "value": "redi?"
          }
        }}
      ]
    }
  },
  "sort": [
    {
      "age": {
        "order": "desc"
      }
    }
  ]
}

高亮查询(highlight)

 

highlight 关键字: 可以让符合条件的文档中的关键词高亮

GET /ems/emp/_search
{
  "query":{
    "match": {
      "content":"框架"
    }
  },
  "highlight": {
    "fields": {
      "*":{}
    }
  }
}

自定义高亮html标签: 可以在highlight中使用pre_tagspost_tags

GET /ems/emp/_search
{
  "query":{
    "match": {
      "content":"框架"
    }
  },
  "highlight": {
    "pre_tags": ["<span style='color:red'>"],
    "post_tags": ["</span>"],
    "fields": {
      "*":{}
    }
  }
}

多字段高亮 使用require_field_match开启多个字段高亮

 GET /ems/emp/_search
{
  "query":{
    "term":{
      "content":"框架"
    }
  },
  "highlight": {
    "pre_tags": ["<span style='color:red'>"],
    "post_tags": ["</span>"],
    "require_field_match":false,
    "fields": {
      "*":{}
    }
  }
}

多字段查询(multi_match)

GET /ems/emp/_search
{
  "query": {
    "multi_match": {
      "query": "中国",
      "fields": ["name","content"] #这里写要检索的指定字段
    }
  }
}

过滤查询

其实准确来说,ES中的查询操作分为2种: 查询(query)和过滤(filter)。

  • 查询就是之前讲的query查询,它 (查询)默认会计算每个返回文档的得分,然后根据得分排序。

  • 过滤(filter)只会筛选出符合的文档,并不计算得分,且它可以缓存文档 。所以,单从性能考虑,过滤比查询更快。

换句话说,过滤适合在大范围筛选数据,而查询则适合精确匹配数据。一般应用时, 应先使用过滤操作过滤数据, 然后使用查询匹配数据。

在执行filter和query时,先执行filter再执行query

ElasticSearch会自动缓存经常使用的过滤器,以加快性能

先使用 过滤操作 可以筛选掉一部分不需要参与计算的数据

再执行 query 操作进行查询

常用过滤器类型:term/terms/range/exists/ids

 

 

 

 

聚合分析 aggregation 【了解】

类似于mysql的分组函数和函数(最大值 最小值 平均值)

https://www.elastic.co/guide/en/elasticsearch/reference/6.4/search-aggregations-metrics-max-aggregation.html

语法结构

"aggregations" : {
    "<aggregation_name>" : {
        "<aggregation_type>" : {
            <aggregation_body>
        }
        [,"meta" : {  [<meta_data_body>] } ]?
        [,"aggregations" : { [<sub_aggregation>]+ } ]?
    }
    [,"<aggregation_name_2>" : { ... } ]*
}

 

计算年龄的平均值

 

 

GET /ems/emp/_search
{
  "query": {
    "match_all": {}
  },
  "aggs": {
    "ageAvg": {
      "avg": {
        "field": "age"
      }
    }
  },
  "size": 0
}

 

按照年龄统计个数

terms 分组

GET /ems/emp/_search
{
  "query": {
    "match_all": {}
  },
  "aggs": {
    "ageAvg": {
      "avg": {
        "field": "age"
      }
    },
    "ageCount":{
      "terms": {
        "field": "age",
        "size": 10
      }
    }
  },
  "size": 0
}

 

按照地区分组,再分组的基础上计算年龄最大值

GET ems/emp/_search
{
  "query": {
    "match_all": {}
  },
  "aggs": {
    "age_count": {
      "terms": {
        "field": "address",
        "size": 10
      },
      "aggs": {
        "age_max2": {
          "max": {
            "field": "age"
          }
        }
      }
    }
  },
  "size": 0
}

 

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Elasticsearch是一个开源的分布式搜索和分析引擎,它可以用于存储、搜索和分析大量的数据。以下是一些Elasticsearch的基本操作: 1. 安装和启动Elasticsearch:首先,你需要从Elasticsearch官方网站下载和安装Elasticsearch。安装完成后,你可以使用命令行或者图形界面来启动Elasticsearch。 2. 创建索引:在Elasticsearch中,数据存储在索引中。你可以使用PUT请求来创建一个新的索引。例如,使用curl命令可以发送以下请求来创建一个名为"my_index"的索引: ``` curl -XPUT 'localhost:9200/my_index' ``` 3. 添加文档:一旦索引创建好了,你可以使用POST请求来向索引中添加文档。文档是以JSON格式表示的数据。以下是向名为"my_index"的索引添加一个文档的示例请求: ``` curl -XPOST 'localhost:9200/my_index/_doc' -d ' { "title": "Elasticsearch Basics", "content": "This is a basic introduction to Elasticsearch" }' ``` 4. 搜索文档:你可以使用GET请求来搜索索引中的文档。以下是一个搜索名为"my_index"的索引中包含关键字"elasticsearch"的文档的示例请求: ``` curl -XGET 'localhost:9200/my_index/_search?q=elasticsearch' ``` 5. 更新文档:使用POST请求可以更新索引中的文档。以下是更新名为"my_index"的索引中ID为1的文档的示例请求: ``` curl -XPOST 'localhost:9200/my_index/_doc/1/_update' -d ' { "doc": { "content": "This is an updated content" } }' ``` 6. 删除文档:使用DELETE请求可以删除索引中的文档。以下是删除名为"my_index"的索引中ID为1的文档的示例请求: ``` curl -XDELETE 'localhost:9200/my_index/_doc/1' ``` 这些是Elasticsearch的一些基本操作。你可以根据需要进一步探索和学习更多高级功能和API。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值