ElaticSearch学习

已于 2024-04-18 22:11:31 修改
阅读量736 收藏 23
点赞数 19
文章标签： 学习
于 2024-04-12 22:46:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_60907575/article/details/137524216
版权

ES学习目标

在这里插入图片描述

1、全文检索

在这里插入图片描述

2、ES介绍

在这里插入图片描述

2.1 安装（docker）

在这里插入图片描述

docker pull elasticsearch:7.14.0
docker run -d -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" elasticsearch:7.14.0

初步检索

1、_cat
GET /_cat/nodes：查看所有节点
GET /_cat/health：查看 es 健康状况
GET /_cat/master：查看主节点
GET /_cat/indices：查看所有索引 show databases;

PUT

put 不可以不带id，否则就报错 如果对同一个id进行发送put,会进行修改

http://101.227.52.230:9200/customer/external/1

{ "name": "John Doe"
}

发送第一次
{
    "_index": "customer",
    "_type": "external",
    "_id": "1",
    "_version": 1,
    "result": "created",
    "_shards": {
        "total": 2,
        "successful": 1,
        "failed": 0
    },
    "_seq_no": 0,
    "_primary_term": 1
}


-- 发送第二次
{
    "_index": "customer",
    "_type": "external",
    "_id": "1",
    "_version": 2,
    "result": "updated",
    "_shards": {
        "total": 2,
        "successful": 1,
        "failed": 0
    },
    "_seq_no": 1,
    "_primary_term": 1
}

POST

在这里插入图片描述
在这里插入图片描述在这里插入图片描述

GET

http://101.227.52.230:9200/customer/external/1

{
    "_index": "customer",
    "_type": "external",
    "_id": "1",
    "_version": 3,
    "_seq_no": 2,
    "_primary_term": 1,
    "found": true,
    "_source": {
        "name": "John Doe"
    }
}

在这里插入图片描述

3.复杂检索

容器保持自开启状态

docker update 容器id --restart=always

ES 支持两种基本方式检索 :

  • 一个是通过使用 REST request URI 发送搜索参数（uri+检索参数）
  • 另一个是通过使用 REST request body 来发送它们（uri+请求体）

3.1 检索信息

一切检索从_search 开始

1、GET bank/_search 
检索 bank 下所有信息，包括 type 和 docs

2、GET bank/_search?q=*&sort=account_number:asc
请求参数方式检索

响应结果解释：
took - Elasticsearch 执行搜索的时间（毫秒）
time_out - 告诉我们搜索是否超时
_shards - 告诉我们多少个分片被搜索了，以及统计了成功/失败的搜索分片
hits - 搜索结果
hits.total - 搜索结果
hits.hits - 实际的搜索结果数组（默认为前 10 的文档）
sort - 结果的排序 key（键）（没有则按 score 排序）
score 和 max_score –相关性得分和最高得分（全文检索用）

uri+请求体进行检索

GET bank/_search
{ "query": { "match_all": {}
},"sort": [
{ "account_number": { "order": "desc"
}
}
]
}

HTTP 客户端工具（POSTMAN），get 请求不能携带请求体，我们变为 post 也是一样的
我们 POST 一个 JSON 风格的查询请求体到 _search API。
需要了解，一旦搜索的结果被返回，Elasticsearch 就完成了这次请求，并且不会维护任何
服务端的资源或者结果的 cursor（游标）

Query DSL
基本语法格式:
Elasticsearch 提供了一个可以执行查询的 Json 风格的 DSL（domain-specific language 领域特定语言）。这个被称为 Query DSL。该查询语言非常全面，并且刚开始的时候感觉有点复杂，真正学好它的方法是从一些基础的示例开始的。

一个查询语句 的典型结构
{
QUERY_NAME: {
ARGUMENT: VALUE, ARGUMENT: VALUE,... }
}


如果是针对某个字段，那么它的结构如下：
{
QUERY_NAME: {
FIELD_NAME: {
ARGUMENT: VALUE, ARGUMENT: VALUE,... }
}
}

GET bank/_search
{
  "query": {
    "match_all": {}
  },
  "from": 0,
  "size": 2,
  "sort": [
    {
      "balance": {
        "order": "desc"
      }
    }
  ]
}

 query 定义如何查询，
 match_all 查询类型【代表查询所有的所有】，es 中可以在 query 中组合非常多的查
询类型完成复杂查询
 除了 query 参数之外，我们也可以传递其它的参数以改变查询结果。如 sort，size
 from+size 限定，完成分页功能
 sort 排序，多字段排序，会在前序字段相等时后续字段内部排序，否则以前序为准
返回部分字段 _source
GET bank/_search
{
  "query": {
    "match_all": {}
  },
  "from": 0,
  "size": 2,
  "sort": [
    {
      "balance": {
        "order": "desc"
      }
    }
  ],
  "_source": ["balance","firstname"]
}
match【匹配查询】

1、基本类型（非字符串），精确匹配

GET bank/_search
{
  "query": {
    "match": {
      "balance": "49795"
    }
  }
}

match 返回 balance=49795 的

2、字符串，全文检索

GET bank/_search
{
  "query": {
    "match": {
      "address": "129"
    }
  }
}
最终查询出 address 中包含 129 单词的所有记录
match 当搜索字符串类型的时候，会进行全文检索，并且每条记录有相关性得分。

在这里插入图片描述
3、字符串，多个单词（分词+全文检索）

GET bank/_search
{
  "query": {
    "match": {
      "address": "129 Street"
    }
  }
}
最终查询出 address 中包含 129 或者 Street 或者 129 Street 的所有记录，并给出相关性得分
match_phrase【短语匹配】
将需要匹配的值当成一个整体单词（不分词）进行检索
GET bank/_search
{
  "query": {
    "match_phrase": {
      "address": "mill road"
    }
  }
}
查出 address 中包含 mill road 的所有记录，并给出相关性得分
multi_match【多字段匹配】
GET bank/_search
{
  "query": {
    "multi_match": {
      "query": "Polly Lopezo",
      "fields": ["firstname","city"]
    }
  }
}

firstname 或者 city 包含 Polly或Lopezo
bool【复合查询】

bool 用来做复合查询：
复合语句可以合并 任何 其它查询语句，包括复合语句，了解这一点是很重要的。这就意味着，复合语句之间可以互相嵌套，可以表达非常复杂的逻辑。

must：必须达到 must 列举的所有条件

GET bank/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "address": "Frank"
          }
        },
        {
          "match": {
            "age": "22"
          }
        }
      ]
    }
  }
}
必须匹配 address为Frank 并且age为22的记录

should：应该达到 should 列举的条件，如果达到会增加相关文档的评分，并不会改变
查询的结果。如果 query 中只有 should 且只有一种匹配规则，那么 should 的条件就会被作为默认匹配条件而去改变查询结果

GET bank/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "address": "129"
          }
        },
        {
          "match": {
            "gender": "M"
          }
        }
      ],
      "should": [
        {
          "match": {
            "age": "22"
          }
        }
      ]
    }
  }
}

must_not 必须不是指定的情况

GET bank/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "address": "129"
          }
        },
        {
          "match": {
            "gender": "M"
          }
        }
      ],
      "must_not": [
        {
          "match": {
            "age": "37"
          }
        },
         {
          "match": {
            "age": "22"
          }
        }
      ]
    }
  }
}
必须匹配 address为Frank 并且gender为M的记录 并且 age 不是22和37的记录

在这里插入图片描述

filter【结果过滤】

并不是所有的查询都需要产生分数，特别是那些仅用于 “filtering”（过滤）的文档。为了不计算分数 Elasticsearch 会自动检查场景并且优化查询的执行

GET bank/_search
{
  "query": {
    "bool": {
      "filter": {
        "range": {
          "age": {
            "gte": 20,
            "lte": 25
          }
        }
      },
      "must": [
        {
          "match": {
            "state": "ma"
          }
        }
      ]
    }
  }
}

age必须在20-25 并且 state为ma
term

和 match 一样。匹配某个属性的值。全文检索字段用 match，其他非 text 字段匹配用 term。
在这里插入图片描述

GET bank/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "term": {
            "age": {
              "value": "28"
            }
          }
        },
        {
          "match": {
            "address": "990 Mill Road"
          }
        }
      ]
    }
  }
}

aggregations（执行聚合）

聚合提供了从数据中分组和提取数据的能力。最简单的聚合方法大致等于 SQL GROUPBY 和 SQL 聚合函数。在 Elasticsearch 中，您有执行搜索返回 hits（命中结果），并且同时返回聚合结果，把一个响应中的所有 hits（命中结果）分隔开的能力。这是非常强大且有效的，您可以执行查询和多个聚合，并且在一次使用中得到各自的（任何一个的）返回结果，使用一次简洁和简化的 API 来避免网络往返。

terms

查询通常用于匹配指定字段的多个确切值之一。
它可以用于查找包含指定字段中任何给定值的文档

{
  "query": {
    "terms": 
      "product_type": ["电视", "手机"]
    }
  }
}

因为terms里的[ ] 多个是或者的关系，只要满足其中一个词就可以。想要同时满足两个词的话，就得使用bool的must来做

==============================================================

  • 搜索 address 中包含 mill 的所有人的年龄分布以及平均年龄，但不显示这些人的详情
#搜索 address 中包含 mill 的所有人的年龄分布以及平均年龄，但不显示这些人的详情

GET bank/_search
{
  "query": {
    "match": {
      "address": "mill"
    }
    },
    "aggs": {
      "group_by_age": {
        "terms": {
          "field": "age",
          "size": 10
        }
      },
       "avg_age": {
        "avg": {
          "field": "age"
        }
      }
    },
    "size": 0
  }
}


size：0 不显示搜索数据
aggs：执行聚合。聚合语法如下
"aggs": { 
"aggs_name 这次聚合的名字，方便展示在结果集中":
 { "AGG_TYPE 聚合的类型
（avg,term,terms）": {}
}
},
  • 复杂：按照年龄聚合，并且请求这些年龄段的这些人的平均薪资
# 复杂：按照年龄聚合，并且请求这些年龄段的这些人的平均薪资

GET bank/_search
{
  "query": {
    "match_all": {}
  },
  "aggs": {
    "age_group": {
      "terms": {
        "field": "age",
        "size": 3
      },
     "aggs": {
       "avg_balance": {
         "avg": {
           "field": "balance"
         }
       }
     }
    }
  }
}

复杂：查出所有年龄分布，并且这些年龄段中 M 的平均薪资和 F 的平均薪资以及这个年龄段的总体平均薪资

# 复杂：查出所有年龄分布，并且这些年龄段中 M 的平均薪资和 F 的平均薪资以及这个年龄段的总体平均薪资

GET bank/_search
{
  "query": {
    "match_all": {}
  },
  "aggs": {
    "groupby_age": {
      "terms": {
        "field": "age",
        "size": 10
      },
      "aggs": {
        "groupby_gender": {
          "terms": {
            "field": "gender.keyword",
            "size": 10
          },
          "aggs": {
            "avg_gender_balance": {
              "avg": {
                "field": "balance"
              }
            }
          }
        },
          "balance_avg": {
          "avg": {
            "field": "balance"
          }
        }
      }
    }
  }
}

插入多条数据 _bulk

想将下面的数据插入到es 索引中

{
    "title": "love China",
    "content": "people very love China",
    "tags": ["China", "love"]
}
{
    "title": "love HuBei",
    "content": "people very love HuBei",
    "tags": ["HuBei", "love"]
}

执行如下命令将上述数据插入

POST /_bulk
{"index":{"_index":"your_index_name","_id":"1"}}
{"title":"love China","content":"people very love China","tags":["China","love"]}
{"index":{"_index":"your_index_name","_id":"2"}}
{"title":"love HuBei","content":"people very love HuBei","tags":["HuBei","love"]}

“your_index_name” 为你实际的索引名称，并按需替换文档字段和值

Mapping

在这里插入图片描述
映射:
Mapping（映射）
Mapping 是用来定义一个文档（document），以及它所包含的属性（field）是如何存储和索引的。比如，使用 mapping 来定义：
 哪些字符串属性应该被看做全文本属性（full text fields）。
 哪些属性包含数字，日期或者地理位置。
 文档中的所有属性是否都能被索引（_all 配置）。
 日期的格式。
 自定义映射规则来执行动态添加属性。

1、查看 mapping 信息：

GET bank/_mapping

2、修改 mapping 信息
在这里插入图片描述
3、新版本改变

Es7 及以上移除了 type 的概念。
1、关系型数据库中两个数据表示是独立的，即使他们里面有相同名称的列也不影响使用，
但 ES 中不是这样的。elasticsearch 是基于 Lucene 开发的搜索引擎，而 ES 中不同 type
下名称相同的 filed 最终在 Lucene 中的处理方式是一样的。
2、两个不同 type 下的两个 user_name，在 ES 同一个索引下其实被认为是同一个 filed，
你必须在两个不同的 type 中定义相同的 filed 映射。否则，不同 type 中的相同字段
名称就会在处理中出现冲突的情况，导致 Lucene 处理效率下降。
3、去掉 type 就是为了提高 ES 处理数据的效率。
Elasticsearch 7.x
4、URL 中的 type 参数为可选。比如，索引一个文档不再要求提供文档类型。
Elasticsearch 8.x
5、 不再支持 URL 中的 type 参数。
解决：
1）、将索引从多类型迁移到单类型，每种类型文档一个独立索引
2）、将已存在的索引下的类型数据，全部迁移到指定位置即可。详见数据迁移

创建映射

# 、创建索引并指定映射
PUT /myindex
{
  "mappings": {
    "properties": {
      "age":{"type": "integer"},
      "name":{"type": "text"},
      "email":{"type": "keyword"}
    }
  }
}

添加新的字段映射

PUT /myindex/_mapping
{
   "properties": {
      "employee-id":{"type": "integer","index":false}
    }
}

更新映射

对于已经存在的映射字段，我们不能更新。更新必须创建新的索引进行数据迁移

数据迁移

先创建出 new_twitter 的正确映射。然后使用如下方式进行数据迁移

以前的版本不带type
POST _reindex [固定写法]
{ "source": { "index": "twitter"
},"dest": { "index": "new_twitter"
}
}

POST _reindex
{
  "source": {
    "index": "bank",
    "type": "account"
  },
  "dest": {
    "index": "newbank"
  }
}

想要详细了解 term 和 match关系 参考如下链接

https://www.jianshu.com/p/d5583dff4157

m0_60907575
关注
  • 19
    点赞
  • 踩
  • 23
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Elasticsearch学习总结
01-27
Elasticsearch是面向文档(documentoriented)的，这意味着它可以存储整个对象或文档(document)。然而它不仅仅是存储，还会索引(index)每个文档的内容使之可以被搜索。在Elasticsearch中，你可以对文档（而非成行成列...
ElasticSearch全部学习资料
04-03
ElasticSearch全部学习资料，包含如何搭建、如何写脚本、java代码、如何查询及集群的配置
Elasticsearch学习笔记
热门推荐
KISS
04-15 26万+
- - - - 第1章 Elasticsearch概述 - 01-开篇 02-技术选型 03-教学大纲 - 第2章 Elasticsearch入门 - 04-入门-环境准备 05-入门-RESTful & JSON 06-入门-Postman客户端工具 07-入门-倒排索引 08-入门-HTTP-索引-创建 09-入门-HTTP-索引-查询 & 删除 10-入门-HTTP-文档-创建（Put & Post） 11-入门-HTTP-查询-主键查询 &...
Elastic Search学习笔记
qq_45676901的博客
10-18 936
ES
Elasticsearch学习路线（一）
Angus
01-04 1557
个人整理出来的一份elasticsearch的学习路线。 用来给即将要来我们这里入职的小朋友提前学习用的。 我做过elasticearch集群优化，看过网上的很多很多的帖子，通读过官方文档，学习过B站上的基本上全部的elasticsearch的讲解视频。 给出下边的建议，比较适合想要做搜索引擎，想要入门elasticsearch的小朋友们使用。 Elasticsearch学习路线 概述 学习路线分为两部分：学习目标、学习资料。 学习资料包含视频学习资料和官方文档学习资料。 ...
史上最全Elasticsearch学习
九离的博客
03-23 7129
Elasticsearch 一、Elasticsearch简介&安装 1.1、Elasticsearch是什么？ The Elastic Stack, 包括 Elasticsearch、Kibana、Beats 和 Logstash（也称为 ELK Stack）。能够安全可靠地获取任何来源、任何格式的数据，然后实时地对数据进行搜索、分析和可视化。Elaticsearch，简称为 ES， ES 是一个开源的高扩展的分布式全文搜索引擎，是整个 Elastic Stack 技术栈的核心。它可以近乎实时
ElasticSearch学习总结（基础篇，可学习，可复习）
派大星的博客
04-28 6028
最近一周都在学习ElasticSearch，之前也零零散散的学过一点，这次下定决心花一周的时间将之前学的知识总结一下，顺便接着再往下学习，所以写篇博客总结一下最近一周的成果，本篇属于ElasticSearch的基础篇，后面会继续深入学习。也希望这篇拙作可以帮助到诸位大佬，如有不足之处，还望诸佬不吝赐教，倾囊相授。 ElasticSearch学习总结ElasticSearch概述ES和Solr的差别ElasticSearch简介Solr简介ElasticSearch安装ES核心概念IK分词器Rest风格说明
Elasticsearch学习心得及常见问题
逾越的博客
01-12 5246
目录1.Elasticsearch和elasticsearch-headr跨域问题2.Elasticsearch的插件ik分词器3.ElasticSearch的核心概念1.分片2.倒排索引(重点，数据库可能会问)3.基本Rest命令说明4.Spring boot集成ElasticSearch 1.Elasticsearch和elasticsearch-headr跨域问题 首先保证两者启动成功 然后需要在elasticsearch的config中找到elasticsearch的配置文件 添加两
ElasticSearch学习
松江的博客
03-09 1108
一.什么是ElasticSearch Elasticsearch 是一个建立在全文搜索引擎 Apache Lucene™ 基础上的搜索引擎，可以说 Lucene （一个开放源代码的全文检索引擎工具包）是当今最先进，最高效的全功能开源搜索引擎框架。 二.Elasticsearch的一般特性 Elasticsearch可扩展高达PB级的结构化和非结构化数据。 Elasticsearch可以用来替代MongoDB和RavenDB等做文档存储。 Elasticsearch使用非标准化来提高搜索性能。 Elastic
ElasticSearch学习（一）
10-28 1106
ElasticSearch搜索引擎的学习笔记（一），包含ES的基本认识和增删改查基本入门操作。
Elasticsearch学习-本地安装
chemmeng的博客
11-18 1772
本地安装Elasticsearch+kibana+head插件
ES 学习
Cmk_p的博客
06-11 2250
ES
ElasticSearch 学习案例
09-22
elasticsearch 的学习案例练习 包括原理的讲解： 结构化搜索 深度探秘搜索技术 深入聚合数据分析
ElasticSearch学习文档
01-20
ElasticSearch学习文档
FME学习之旅---day27
最新发布
summer_corner的博客
05-17 193
我们付出一些成本，时间的或者其他，最终总能收获一些什么。
使用多实例学习进行乳腺癌组织病理学图像分类和定位
qq_47896523的博客
05-16 1092
乳腺癌是女性最主要的死亡原因，病理学家根据病理切片中观察到的各种视觉特征（例如细胞核的形态特征、细胞核的微观和宏观结构等）做出决定。计算机辅助诊断（CAD）系统可以帮助病理学家自动做出决策。卷积神经网络是最广泛使用的深度学习框架，用于学习图像类别之间的复杂判别特征。多年来，VGG16 [3] 和 ResNet18 [4] 等各种 CNN 架构在海量 ImageNet 数据集上产生了出色的结果。CNN 被用于医学图像以产生最先进的结果。为图像中存在的所有类别提供了定位信息。
WEB转Flutter基础学习笔记（内含vue和flutter对比）
小易不止于搬砖的博客
05-17 667
笔者是一名web前端，记录在转栈flutter时的学习笔记，内涵和vue的对比，能够辅助前端同学更容易理解flutter
Page对象的学习
2301_77523055的博客
05-14 1003
ASP.NET允许开发者创建自定义控件和用户控件来扩展页面的功能。自定义控件是从现有的ASP.NET控件派生出来的新控件，而用户控件则是将多个控件组合成一个可重用的单元。这些控件可以像其他ASP.NET控件一样在页面上使用，并通过Page对象进行交互。Page_Init主要用于在控件加载之前进行初始化设置和添加事件处理程序。Page_Load主要用于处理页面回发和加载数据，以及执行其他需要在页面加载时完成的逻辑。由于Page_Init在Page_Load之前触发，因此在Page_Init。
学习kong官方文档
好好学习日记
05-17 271
当然，我会用更简洁的方式重新解释这两个概念：Helm和Kubectl是Kubernetes生态系统中常用的两个工具，它们各自有不同的用途：
elasticsearch学习
08-25
关于学习Elasticsearch，我可以给你一些指导。Elasticsearch是一个开源的分布式搜索和分析引擎，主要用于快速、实时地存储、搜索和分析大量数据。下面是一些学习Elasticsearch的步骤： 1. 了解基本概念：开始学习...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值