案例实战Elasticsearch基本操作（一）

最新推荐文章于 2023-12-25 17:20:29 发布
最新推荐文章于 2023-12-25 17:20:29 发布
阅读量1.3k 收藏 1
点赞数
文章标签： 搜索
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pengych_321/article/details/61197886
版权

问题

Elasticsearch集群的简单管理？面向文档（document）的搜索分析引擎？常用的搜索方式有哪些？

场景

本文以构建一个电商网站的后台系统为例，介绍es常用的搜索方式：query string search、query DSL、query filter、full-text search、phrase search、highlight search

注：电商网站商品管理案例背景介绍

1）对商品信息进行CRUD操作
2）执行简单的结构化查询
3）可以执行简单的全文检索，以及复杂的短语检索
4）对于全文检索的结果，可以进行高亮显示
5）对数据进行简单的聚合分析

二、商品的多种搜索方式：

分析

一、document数据格式

面向文档的搜索分析引擎

1）应用系统的数据结构都是面向对象的，复杂的
2）对象数据存储到关系型数据库中，只能拆解开来，变为扁平的多张表，每次查询的时候还得还原回对象格式，相当麻烦
3）ES是面向文档的，文档中存储的数据结构，与面向对象的数据结构是一样的，基于这种文档数据结构，ES可以提供复杂的索引、全文检索与分析聚合等功能
4）ES的document用json数据格式来表达

三、简单的集群管理

1）快速检查集群的健康状况

GET /_cat/health?v

green:每个索引的primary shard 和replica shard 都是active状态的
yellow:每个索引的primary shard都是active状态的，但是部分 replica shard 不是 active状态，处于不可用的
red:不是所有索引的 primary shard都是active状态的，部分索引有数据丢失

2）快速查看集群中有哪些索引

GET /_cat/indices?v

3）简单的索引操作

创建索引： PUT /test_index?pretty

删除索引：DELETE /test_index?pretty

四、商品的CRUD操作

1）新增商品：新增文档，建立索引

语法： PUT /index/type/id
应用：

PUT /ecommerce/product/1
{
"name":"gaolujie yagao",
"desc":"gaoxiao meibai",
"price":30,
"producer":"gaolujie producer",
"tags":["meibai","fangzhu"]
}

PUT /ecommerce/product/2
{
"name":"jiajieshi yagao",
"desc":"youxiao fangzhu",
"price":25,
"producer":"jiajieshi producer",
"tags":["fangzhu"]
}

PUT /ecommerce/product/3
{
"name":"zhonghua yagao",
"desc":"caoben zhiwu",
"price":40,
"producer":"zhonghua producer",
"tags":["qinxin"]
}

es会自动建立index和type，不需要提前创建，而且es默认会对document的每个field都建立倒排索引，让其可以被搜索。

2）查询商品：检索文档

语法：GET /index/type/id
应用：

GET /ecommerce/product/1

3) 修改商品：更新文档

语法：POST /index/type/id/_update{“doc”:{“fieldname”:”value”}}
应用：

POST /ecommerce/product/1/_update
{
  "doc": 
  {
    "name":"jiaqiangban gaolujie yagao"
  }
}

4）删除商品：删除文档

语法：DELETE /index/type/id?pretty
应用：

DELETE   /ecommerce/product/1/?pretty
五、搜索方式

1）query string search
应用）
搜索全部商品：GET /ecommerce/product/_search
搜索商品名称中包含 yagao 的商品，而且按照售价降序排序：

GET /ecommerce/product/_search?q=name:yagao&sort=price:desc

2) query DSL (domain specified language)
应用）
查询所有的商品：

GET /ecommerce/product/_search
{
  "query": 
  {
    "match_all": {}
  }
}

查询名称包含 yagao的商品，同时按照价格降序排序：

GET /ecommerce/product/_search
{
  "query": 
  {
    "match":
    {
      "name": "yagao"
    }
  },
  "sort": 
  [
    {
      "price": 
      {
        "order": "desc"
      }
    }
  ]
}

或者：

 GET /ecommerce/product/_search
{
  "query": 
  {
    "match":
    {
      "name": "yagao"
    }
  },
  "sort": 
  [
     { "price": "desc"}
  ]
}

分页查询商品，总共3条商品，假设每页就显示1条商品，显示第一页且只显示商品的名称与价格

GET ecommerce/product/_search
{
  "query": {"match_all": {}},
  "_source": ["name","price"],
  "from": 0,
  "size": 1
}

3) query filter

搜索商品名称包含 yagao,而且售价大于等于40的商品

GET /ecommerce/product/_search
{
  "query": 
  {
    "bool": 
    {
      "must": 
      {
        "match":
        {
          "name":"yagao"
        }
      },
      "filter": 
      {
        "range":
        {
          "price":
          {
            "gte": 40
          }
        }
      }
    }
  }
}

4） full-text search 全文检索

全文检索：将输入的搜索串拆解开来，去倒排索引里面去一一匹配，只要能匹配上任意一个拆解后的单词，就可以作为结果返回

GET /ecommerce/product/_search
{
  "query": 
  {
    "match":
    {
      "producer": "yagao producer"
    }
  }
}

结果：

{
  "took": 10,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "failed": 0
  },
  "hits": {
    "total": 4,
    "max_score": 0.51623213,
    "hits": [
      {
        "_index": "ecommerce",
        "_type": "product",
        "_id": "5",
        "_score": 0.51623213,
        "_source": {
          "name": "special yagao",
          "desc": "special meibai",
          "price": 50,
          "producer": "yagao producer",
          "tags": "meibai"
        }
      },
      {
        "_index": "ecommerce",
        "_type": "product",
        "_id": "2",
        "_score": 0.25811607,
        "_source": {
          "name": "jiajieshi yagao",
          "desc": "youxiao fangzhu",
          "price": 25,
          "producer": "jiajieshi producer",
          "tags": [
            "fangzhu"
          ]
        }
      },
      {
        "_index": "ecommerce",
        "_type": "product",
        "_id": "1",
        "_score": 0.25811607,
        "_source": {
          "name": "jiaqiangban gaolujie yagao",
          "desc": "gaoxiao meibai",
          "price": 30,
          "producer": "gaolujie producer",
          "tags": [
            "meibai",
            "fangzhu"
          ]
        }
      },
      {
        "_index": "ecommerce",
        "_type": "product",
        "_id": "3",
        "_score": 0.25811607,
        "_source": {
          "name": "zhonghua yagao",
          "desc": "caoben zhiwu",
          "price": 40,
          "producer": "zhonghua producer",
          "tags": [
            "qinxin"
          ]
        }
      }
    ]
  }
}

5、phrase search 与 高亮显示

短语搜索：要求输入的搜索串，必须在指定的字段文本中，完全包含一模一样的，才算匹配。

GET /ecommerce/product/_search
{
  "query": 
  {
    "match_phrase":
    {
      "producer": "yagao producer"
    }
  },
  "highlight": 
  {
    "fields": {"producer": {}}
  }
}

结果：

{
  "took": 45,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "failed": 0
  },
  "hits": {
    "total": 1,
    "max_score": 0.51623213,
    "hits": [
      {
        "_index": "ecommerce",
        "_type": "product",
        "_id": "5",
        "_score": 0.51623213,
        "_source": {
          "name": "special yagao",
          "desc": "special meibai",
          "price": 50,
          "producer": "yagao producer",
          "tags": "meibai"
        },
        "highlight": {
          "producer": [
            "<em>yagao</em> <em>producer</em>"
          ]
        }
      }
    ]
  }
}
聚合分析

1）计算每个tag下的商品数量

PUT /ecommerce/_mapping/product
{
  "properties": 
  {
    "tags":
    {
      "type":"text",
      "fielddata": true
    }
  }
}

GET /ecommerce/product/_search
{
  "aggs":
  {
    "group_by_tags":
    {
      "terms":
      {
        "field": "tags",
        "size": 10
      }
    }
  }
}

结果：

{
  "took": 69,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "failed": 0
  },
  "hits": {
    "total": 4,
    "max_score": 1,
    "hits": [
      {
        "_index": "ecommerce",
        "_type": "product",
        "_id": "5",
        "_score": 1,
        "_source": {
          "name": "special yagao",
          "desc": "special meibai",
          "price": 50,
          "producer": "yagao producer",
          "tags": "meibai"
        }
      },
      {
        "_index": "ecommerce",
        "_type": "product",
        "_id": "2",
        "_score": 1,
        "_source": {
          "name": "jiajieshi yagao",
          "desc": "youxiao fangzhu",
          "price": 25,
          "producer": "jiajieshi producer",
          "tags": [
            "fangzhu"
          ]
        }
      },
      {
        "_index": "ecommerce",
        "_type": "product",
        "_id": "1",
        "_score": 1,
        "_source": {
          "name": "jiaqiangban gaolujie yagao",
          "desc": "gaoxiao meibai",
          "price": 30,
          "producer": "gaolujie producer",
          "tags": [
            "meibai",
            "fangzhu"
          ]
        }
      },
      {
        "_index": "ecommerce",
        "_type": "product",
        "_id": "3",
        "_score": 1,
        "_source": {
          "name": "zhonghua yagao",
          "desc": "caoben zhiwu",
          "price": 40,
          "producer": "zhonghua producer",
          "tags": [
            "qinxin"
          ]
        }
      }
    ]
  },
  "aggregations": {
    "group_by_tags": {
      "doc_count_error_upper_bound": 0,
      "sum_other_doc_count": 0,
      "buckets": [
        {
          "key": "fangzhu",
          "doc_count": 2
        },
        {
          "key": "meibai",
          "doc_count": 2
        },
        {
          "key": "qinxin",
          "doc_count": 1
        }
      ]
    }
  }
}

2) 名称包含gaolujie的商品，然后按照 tags分组

GET /ecommerce/product/_search
{
  "size": 0,
  "query": 
  {
    "match": 
    {
      "name": "gaolujie"
    }
  }, 
  "aggs":
  {
    "group_by_tags":
    {
      "terms":
      {
        "field": "tags"
      }
    }
  }
}

结果：

{
  "took": 7,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "failed": 0
  },
  "hits": {
    "total": 1,
    "max_score": 0,
    "hits": []
  },
  "aggregations": {
    "group_by_tags": {
      "doc_count_error_upper_bound": 0,
      "sum_other_doc_count": 0,
      "buckets": [
        {
          "key": "fangzhu",
          "doc_count": 1
        },
        {
          "key": "meibai",
          "doc_count": 1
        }
      ]
    }
  }
}

3) 计算每个tag下的商品的平均价格

GET /ecommerce/product/_search
{
  "size": 1,
  "aggs":
  {
    "group_by_tags":
    {
      "terms":
      {
        "field": "tags",
        "size": 10
      }
      , 
      "aggs":
      {
        "avg_price":
        {
          "avg": 
          {
            "field": "price"
          }
        }
      }
    }
  }

}
{
  "took": 4,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "failed": 0
  },
  "hits": {
    "total": 4,
    "max_score": 1,
    "hits": [
      {
        "_index": "ecommerce",
        "_type": "product",
        "_id": "5",
        "_score": 1,
        "_source": {
          "name": "special yagao",
          "desc": "special meibai",
          "price": 50,
          "producer": "yagao producer",
          "tags": "meibai"
        }
      }
    ]
  },
  "aggregations": {
    "group_by_tags": {
      "doc_count_error_upper_bound": 0,
      "sum_other_doc_count": 0,
      "buckets": [
        {
          "key": "fangzhu",
          "doc_count": 2,
          "avg_price": {
            "value": 27.5 }
        },
        {
          "key": "meibai",
          "doc_count": 2,
          "avg_price": {
            "value": 40 }
        },
        {
          "key": "qinxin",
          "doc_count": 1,
          "avg_price": {
            "value": 40 }
        }
      ]
    }
  }
}

4 ) 计算每个tag下的商品的平均价格,并且降序排序

GET /ecommerce/product/_search
{
  "size":0,
  "aggs":
  {
    "all_tags": 
    {
      "terms": 
      {
        "field": "tags",
        "size": 10,
        "order":
        {
          "avg_price": "desc"
        }
      },
      "aggs":
      {
        "avg_price":
        {
          "avg":
          {
            "field": "price"
          }
        }
      }
    }
  }
}

5）按照指定的价格范围区间进行分组，然后在每组内再按照tag进行分组，最后计算每组的平均价格

GET /ecommerce/product/_search
{
  "size": 20,
  "aggs":
  {
    "group_by_price": 
    {
      "range":
      {
        "field": "price",
        "ranges":
        [
          {
            "from": 0,
            "to": 20
          },
          {
            "from": 20,
            "to": 40
          },
           {
            "from":40,
            "to": 50
          }
        ]
      },
      "aggs":
      {
        "group_by_tags":
        {
          "terms":
          {
            "field":"tags"
          },
          "aggs":
          {
            "average_price":
            {
              "avg":
              {
                "field":"price"
              }
            }
          }
        }
      }
    }
  }

}

结果：

{
  "took": 5,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "failed": 0
  },
  "hits": {
    "total": 4,
    "max_score": 1,
    "hits": [
      {
        "_index": "ecommerce",
        "_type": "product",
        "_id": "5",
        "_score": 1,
        "_source": {
          "name": "special yagao",
          "desc": "special meibai",
          "price": 50,
          "producer": "yagao producer",
          "tags": "meibai"
        }
      },
      {
        "_index": "ecommerce",
        "_type": "product",
        "_id": "2",
        "_score": 1,
        "_source": {
          "name": "jiajieshi yagao",
          "desc": "youxiao fangzhu",
          "price": 25,
          "producer": "jiajieshi producer",
          "tags": [
            "fangzhu"
          ]
        }
      },
      {
        "_index": "ecommerce",
        "_type": "product",
        "_id": "1",
        "_score": 1,
        "_source": {
          "name": "jiaqiangban gaolujie yagao",
          "desc": "gaoxiao meibai",
          "price": 30,
          "producer": "gaolujie producer",
          "tags": [
            "meibai",
            "fangzhu"
          ]
        }
      },
      {
        "_index": "ecommerce",
        "_type": "product",
        "_id": "3",
        "_score": 1,
        "_source": {
          "name": "zhonghua yagao",
          "desc": "caoben zhiwu",
          "price": 40,
          "producer": "zhonghua producer",
          "tags": [
            "qinxin"
          ]
        }
      }
    ]
  },
  "aggregations": {
    "group_by_price": {
      "buckets": [
        {
          "key": "0.0-20.0",
          "from": 0,
          "to": 20,
          "doc_count": 0,
          "group_by_tags": {
            "doc_count_error_upper_bound": 0,
            "sum_other_doc_count": 0,
            "buckets": [] }
        },
        {
          "key": "20.0-40.0",
          "from": 20,
          "to": 40,
          "doc_count": 2,
          "group_by_tags": {
            "doc_count_error_upper_bound": 0,
            "sum_other_doc_count": 0,
            "buckets": [ { "key": "fangzhu", "doc_count": 2, "average_price": { "value": 27.5 } }, { "key": "meibai", "doc_count": 1, "average_price": { "value": 30 } } ] }
        },
        {
          "key": "40.0-50.0",
          "from": 40,
          "to": 50,
          "doc_count": 1,
          "group_by_tags": {
            "doc_count_error_upper_bound": 0,
            "sum_other_doc_count": 0,
            "buckets": [ { "key": "qinxin", "doc_count": 1, "average_price": { "value": 40 } } ] }
        }
      ]
    }
  }
}

总结

参考

一方架构
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
JAVA实现ElasticSearch的简单实例
07-29
在eclipse上，操作elasticsearch的简单程序
SpringBoot操作Elasticsearch的实战案例，elasticsearch 2.4.5/5.6.1
最新发布
06-30
【作品名称】：SpringBoot操作Elasticsearch的实战案例，elasticsearch 2.4.5/5.6.1 【适用人群】：适用于希望学习不同技术领域的小白或进阶学习者。可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。 ...
Elasticsearch基本操作（一）
a80C51的博客
02-02 346
目录 一、索引 1，添加索引 2，删除索引 二、数据 1，添加数据 2，更新数据 a）覆盖更新（全部更新） b）局部更新 3，删除数据 4，查询数据 a）通过id查询 只返回特定字段： b）全量查找 c）简易条件搜索 一、索引 1，添加索引 请求形式 PUT 内容格式 application/json 请求地址 /wayne----索引名称 请求内容 ...
ElasticSearch基本操作
zt的博客
04-10 3512
文章目录1.ElasticSearch 简介2.索引库操作2.1.mapping 属性2.2.索引库CRUD3.文档操作3.1.新增文档 1.ElasticSearch 简介 Elasticsearch 是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便的使大量数据具有搜索、分析和探索的能力。可以帮助我们从海量数据中快速找到需要的内容。充分利用Elasticsearch的水平伸缩性，能使数据在生产环境变得更有价值。Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用
elasticSearch的基本操作
qq_48033003的博客
10-05 523
前言 文章目录 文章目录前言文章目录引用说明准备工作elasticSearch的基本操作1、关于索引的操作创建索引查看索引往索引中插入数据2、查看elasticSearch的基本信息3、更新文档4、删除索引、文档5、查询准备工作根据id查询指定文档根据指定字段精确匹配指定文档match查询分析词语查询返回指定字段升序或降序查询分页查询布尔值查询同时满足（must）满足其一同时不满足数据过滤单字段匹配多个条件term精准匹配测试准备词语分析term精准匹配高亮查询默认高亮 引用说明 本文参考狂神说狂神的视频以
[ElasticSearch]基本操作
Lionel的博客
10-25 438
ElasticSearch文档管理(CRUD)本篇文章将介绍使用 REST API 来进行文档的简单创建、更新、读取和删除操作；创建文档curl -XPUT "http://localhost:9200/<index>/<type>/[<id>]"其中，索引和类型是必须要进行指定的，id 可选可不选。如果不指定 id，ES 会自动生成一个 id，看下面一个例子:curl -XPOST "http:/
ElasticSearch7.x入门到案例实战教程
06-29
ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索...
Elasticsearch亿级数据检索性能优化案例实战！
01-27
【Elasticsearch亿级数据检索性能优化案例实战】 在数据量巨大的业务环境中，Elasticsearch作为流行的全文搜索引擎，面临着如何高效处理亿级数据检索的挑战。本文将分享一个实际案例，探讨如何对Elasticsearch进行...
Elasticsearch实战与原理解析 源代码.zip
06-06
这份"**Elasticsearch实战与原理解析 源代码**"的压缩包文件提供了关于这个强大工具的实践案例和源代码，旨在帮助用户深入理解和掌握Elasticsearch的核心功能和工作原理。 首先，我们要了解Elasticsearch的基本概念...
2 elasticsearch 基本操作
小木兮子
05-14 1161
内容概要简单的集群管理文档操作[增删改查]多种查询1.简单的集群管理    1.1 快速检查集群的健康状况es提供了一套api，叫做cat api，可以查看es中各种各样的数据GET /_cat/health?v在kibana 中的dev_tool 中，操作：epoch      timestamp cluster       status node.total node.data shards ...
elasticsearch java操作的api实例
09-29
包含所因的索引建立、删除、查看，批量创建索引；搜索Query、过滤器 、分组高亮显示；以及创建Mapping
elasticsearch java操作的api实例
04-20
包含所因的索引建立、删除、查看，批量创建索引；搜索Query、过滤器 、分组高亮显示；以及创建Mapping
elasticsearch简单例子
10-17
基于elasticsearch使用Java创建索引、更新索引、删除索引、查询索引的一个小例子 http://blog.csdn.net/lom9357bye/article/details/52841711
ElasticSearch使用案例-初入者
阿旭_博客
12-25 523
Java 操作 ElasticSearch 使用案例
超详细讲解Elasticsearch的基本操作
一心同学的博客
03-10 4586
超详细讲解Elasticsearch的基本操作，用简单的例子去学习相关的命令操作，更快的掌握对ES的操作。
ElasticSearch简单入门案例
林夕
07-11 4908
1、原生操作使用 Xput创建索引说明：RESTful接口URL的格式：http://localhost:9200/&lt;index&gt;/&lt;type&gt;/[&lt;id&gt;]其中index、type是必须提供的。id是可选的，不提供es会自动生成。index、type将信息进行分层，利于管理。index可以理解为数据库；type理解为数据表；id相当于数据库表中记录的主键，是唯...
Elasticsearch深入详解-知识图谱（每周更新）
热门推荐
铭毅天下Elasticsearch
08-19 2万+
1、题记 Elasticsearch技术已经燃爆到飞的感觉。 为了方便订阅Elasticsearch深入详解的博友们第一时间获取最新经验分享，和大家一起成长，特将本专栏内容制作为Elasticsearch深入详解知识图谱。 并承诺【铭毅天下】微信公众号每周不定时推送ES深入研究文章至少一篇。 2、Elasticsearch深入详解知识图谱地址 Elasticsearch深入详解图谱...
ElasticSearch高级篇
XieKunBlog
06-07 1608
注：该文档是网上资源，该文档通俗易懂，我已经按照文档学习完了，后期我会加入自己的实践内容。0.学习目标 独立安装Elasticsearch 会使用Rest的API操作索引 会使用Rest的API查询数据 会使用Rest的API聚合数据 掌握Spring Data Elasticsearch使用 1.Elasticse...
Elasticsearch的简单使用案例
allen的博客
08-14 4297
1.添加一个学生的成绩(ip: port/库/表/id) curl -XPUT 'http://192.168.80.123:9200/school/jsj/1' -d '{ "class": "软件工程", "subject": "math", "name": { "first": "li", "last": "jie" }, "create_time": "2
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值