ElasticSearch之零碎知识点

已于 2024-03-22 12:03:53 修改
阅读量595 收藏 7
点赞数 7
分类专栏： ElasticSearch 文章标签： elasticsearch
于 2024-02-22 17:34:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wang0907/article/details/136239712
版权

写在前面

本文记录es的零碎知识点，包括但不限于概念，集群方式，等。

1：词项查询 VS 全文查询

词项查询：查询的内容不做分词处理，输入的什么查询什么。

全文查询：查询的内容会做分词处理，生成多个词项，然后对每个词项分别查询，所有的查询结果汇总在一起，作为最终的结果。

具体参考这里 。

2：Query Context VS Filter Context

Query Context：算分的上下文。

Filter Context：不算分的上下文。

3：copy_to

使用copy_to，如下：
在这里插入图片描述
测试：

# 1:先删除索引，因为前面创建过了
DELETE users
# 2：创建索引，并指定firstName的null_value
PUT users
{
    "mappings": {
        "properties": {
            "firstName": {
                "type": "text",
                "copy_to": "fullName"
            },
            "lastName": {
                "type": "text",
                "copy_to": "fullName"
            }
        }
    }
}
# 3:创建新数据
POST users/_create/1
{
    "firstName": "jack",
    "lastName": "james"
}
# 4:搜索在fulleName中包含jack或者是包含james的，可以正常搜索到
GET users/_search?q=fullName:(jack james)
{
  "profile": "true"
}

4：常见分词器

4.1：中文分词器

ik 。

icu 。

pinyin 分词为拼音
配置：
在这里插入图片描述
例子：
在这里插入图片描述
在这里插入图片描述

  • HanLP
    安装参考pinyin ,下载参考下图：
    在这里插入图片描述

5：相关性，相关文档，precision,recall

  • 相关性
1：需要找到的文档都找到了？
2：找到了多少错误的文档？？
3：找到的文档评分高低是否符合预期？？？
  • 相关文档
    应该找到的文档。
  • precision,recall
    如果找到的文档我们标记为positive，没有找到的文档标记为negative，然后我们用true来表示找到的该找到的，没找到的不该找到的，用false来表示没找到的该找到的，找到的不该找到的绕啊！！！，则我们可以得到下图：
    在这里插入图片描述
precision就是：返回的文档中相关文档数/返回的文档数
recall就是：返回的相关文档/总相关文档

如下图：
在这里插入图片描述
一般搜索时尽量提高recall值是我们的目标。

详细参考Elasticsearch：理解搜索中的 precision 及 recall 。

6：使用_analyze API查看分词效果

POST _analyze
{
  "analyzer": "standard",
  "text": "Michael Jordan agrees to help the Looney Tunes play a basketball game against aliens slavers to determine their freedom"
}

7：多字段类型

考虑这样的场景，对于文档的某个字段，有时候我们需要对其进行模糊查询，有时候需要对其进行精确查询，此时，就可以考虑使用多字段类型，即给字段设置一个子字段，当然，在当前假设的场景下，子字段的类型需要设置为keyword，来满足精确查找的需求，如下：

# 1:先删除索引，因为前面创建过了
DELETE users
# 2：创建索引，并指定firstName的null_value
PUT users
{
    "mappings": {
        "properties": {
            "firstName": {
                "type": "text",
                "fields": {
                  "my_keyword": {
                    "type": "keyword"
                  }
                }
            },
            "lastName": {
                "type": "text"
            }
        }
    }
}

# 3：插入数据
POST users/_create/1
{
  "firstName": "AA BB CC",
  "lastName": "james"
}

# 4:使用firstName查询“AA BB”可以查询到，此时是模糊匹配
GET users/_search?q=firstName:"AA BB"
{
  "profile": "true"
}

# 5:使用firstName的子字段my_keyword查询“AA BB”查询不到，因为是精准匹配
GET users/_search?q=firstName.my_keyword:"AA BB"
{
  "profile": "true"
}

# 6:使用firstName的子字段my_keyword查询“AA BB CC"可以查询到
GET users/_search?q=firstName.my_keyword:"AA BB CC"
{
  "profile": "true"
}

注意keyword和text的关键区别就是，keyword是精确匹配，text是模糊匹配。当然text当给定的是完全匹配的值时也是可以查询到的，但本质上还是通过模糊查询的方式匹配到的，这点要注意。

当然我们也可以设置一个指定了自定义分词器的子字段，如下：
在这里插入图片描述

具体的可以根据业务场景来灵活定义。

8：doc_values和fielddata

一般地，我们在使用es进行搜索时，使用的数据结构是倒排索引 ,但是当我们执行诸如order by排序，sum聚合等操作时，这种数据结构就无能为力了，所以es就引入了doc_values和field_data这两种数据结构，其中fielddata是1.x版本以及之前提供的数据结构，这种数据结构基于内存来实现，所以可能会给jvm heap带来比较大的压力，数据量比较大时可能发生OOM，所以在2.x版本开始引入了doc values，这是一种基于磁盘的数据结构，因为基于磁盘，所以性能肯定不及fielddata，但随着磁盘技术本身的发展(SSD)以及doc value程序本身的不断优化，性能差异也越来越小了，所以目前官方大力发展的就是doc value了,具体二者比较参考下图：
在这里插入图片描述
详细参考一文带你彻底弄懂ES中的doc_values和fielddata 。

9：排序 sort _doc

_doc排序就是按照文档的索引顺序，即插入到分片的先后顺序，来排序获取，如下：

注意以下测试分片数是1，所以顺序是和肉眼看到的一致的，但是多个分片就不一定了，因为是插入分片的顺序，而非插入到es的顺序。

  • 准备数据
DELETE message

PUT message
{
  "settings": {
    "number_of_shards": 1
  }
}

POST message/_doc?routing=1
{
  "content": "good"
}

POST message/_doc?routing=2
{
  "content": "good morning"
}

POST message/_doc?routing=3
{
  "content": "good morning everyone"
}
  • 按照插入的顺序返回
POST message/_search
{
    "size": 5,
    "query": {
        "match_all": {}
    },
    "sort": [
        {
            "_doc": {
                "order": "asc"
            }
        }
    ]
}

在这里插入图片描述

  • 按照插入相反的顺序返回
POST message/_search
{
    "size": 5,
    "query": {
        "match_all": {}
    },
    "sort": [
        {
            "_doc": {
                "order": "desc"
            }
        }
    ]
}

在这里插入图片描述

10：批量插入bulk

POST news/_bulk
{"index": {"_id": 1}}
{"f1":"aa", "f2": "bb"}
{"index": {"_id": 2}}
{"f1":"aa", "f2": "bb", "f3": "cc"}
{"index": {"_id": 3}}
{"f1":"aa", "f2": "bb", "f3": "cc", "f4": "dd"}

11：source filtering

默认在我们查询文档时，最初生成该文档的_source信息也会一并返回，我们可以通过source filtering的功能来控制不返回_source,或者是只返回部分字段，如下准备测试数据：

DELETE test_source_filtering
PUT test_source_filtering/_doc/1
{
  "title": "Mastering ElasticSearch 5.0",
  "description": "Master the searching, indexing, and aggregation features in ElasticSearch Improve users’ search experience with Elasticsearch’s functionalities and develop your own Elasticsearch plugins",
  "author": "Bharvi Dixit",
  "public_date": "2017",
  "cover_url": "https://images-na.ssl-images-amazon.com/images/I/51OeaMFxcML.jpg"
}

查询会返回完整的_source:

POST test_source_filtering/_search
{
  "query": {
    "match_all": {}
  }
}

在这里插入图片描述
控制不返回_source：

# 不返回_source
POST test_source_filtering/_search
{
  "_source": false,
  "query": {
    "match_all": {}
  }
}

在这里插入图片描述
是只返回部分字段：

# _source中返回个别字段
POST test_source_filtering/_search
{
  "_source": ["title","author"],
  "query": {
    "match_all": {}
  }
}

# _source中指定包含的字段和删除的字段
POST test_source_filtering/_search
{
  "_source": {
    "includes": ["tit*","cover_url"],
    "excludes": ["author"]
  },
  "query": {
    "match_all": {}
  }
}

在这里插入图片描述

参考的Elastic Search之Source Filtering(过滤结果中"_source"原始文本显示哪些字段) 。

写在后面

参考文章列表

Elasticsearch：理解搜索中的 precision 及 recall 。

一户董
关注
专栏目录
Spark零碎知识点
ll谢安生的博客
01-06 1717
RDD的概念： RDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，这极大地提升了查询速度。 个人注释（非官方）： 不可变：每一个算...
零碎知识点
qq_40011574的博客
10-20 304
零碎知识点 日志 slfj外观框架，有多种实现 logback log4j log4j2 类型 控制台日志 访问日志 通过 Filter 过滤器 通过 Spring MVC HandlerInterceptor 处理器过滤器 通过 Spring AOP 切面 相关配置 日志文件 默认情况下，Spring Boot 日志只会打印到控制台。所以需要通过 logging.file.path 或 logging.file.name 配置项来设置。不过要注意，这两者是二选一，并不是共同作用。
ES的主要知识点
乡村非主流2020的博客
09-11 1172
MySQL数据表在Elasticsearch中的抽取和构建过程是一个涉及数据同步、索引创建、数据映射和查询优化的复杂过程。通过选择合适的同步工具、定义合理的索引结构、进行准确的数据映射和优化查询语句，可以实现MySQL数据在Elasticsearch中的高效存储和检索。
操作系统零碎知识点系列之一
07-05 270
1.实模式下的寻址方式以及实模式的缺陷？ 物理地址=段值*16+偏移量 缺陷： 寻址空间少； 通过改变段寄存器的值，可以随时访问任何内存单元，丝毫不受限制，不能对内存的访问加以限制，无法对系统进行保护。 2.保护模式下的寻址过程? 段寄存器存储的是GDT这个数据结构中一个表项—...
vue零碎知识点总结
qq_51441779的博客
08-12 330
vue知识点总结
Web前端之零碎知识点、基础知识、字符串、数组
我的"CSDN"博客主页地址：https://mengjian.blog.csdn.net/
10-05 507
Web前端之零碎知识点、基础知识、字符串、数组
ElasticSearch（ES）知识积累
sinat_27634939的博客
05-07 546
    由于工作中接触到了ES，并且惊喜的发现具有很好的性能，所以特意对其相关知识点进行总结，参考了很多网上大神的总结，这里主要是加深自己对es的了解。1.简介    ES是基于lucene的构建的高扩展的分布式全文检索引擎，可以做到近乎实时的存储，全文检索。注：Lucene 是 apache 下的一个开放源代码的全文检索引擎工具包,提供了完整的查询引擎和索引引擎,部分文本分析引擎2.主要概念集群...
Promise对象一些零碎知识点记录
weixin_41500253的博客
04-13 205
Promise对象一些零碎知识点记录 Promise对象实例的resolve函数的参数除了正常的值外，还可能是另一个promise实例，如： var p1 = new Promise((resolve,reject) => { //... }) var p2 = new Promise((resolve, reject) => { resolve(p1) }) 由于 **p1**和 **p2**都是promise实例，但是p2的resolve将p1作为了参数，这时p1的状态
零碎知识点学习记录
qi657的博客
10-16 224
MVVM是Model-View-ViewModel的简写。它本质上就是MVC 的改进版。MVVM 就是将其中的View 的状态和行为抽象化，让我们将视图 UI 和业务逻辑分开。 Babel 是一个 JavaScript 编译器 ES6 既是一个历史名词，也是一个泛指，含义是 5.1 版以后的 JavaScript 的下一代标准，涵盖了 ES2015、ES2016、ES2017 等等。 不...
每日知识点学习
小金莫慌
01-29 374
intanceof 是java中用来在运行时指出对象是否是特定类的一个实例，返回的是一个boolean值 同样的一个表 我left join 一次之后 还可以再进行left join 一次 List list = Lists.newArrayList() ;省略泛型推导 0925： org.apache.commons.lang3 包下有一个randomUtils 产生随机数的工具...
Node.js和VSCode安装、ES6环境搭建教程以及零碎小知识
菜鸟karroy
03-04 1276
因为某些原因，最近接触到了Node.js和VSCode，做了一点学习笔记。方便自己日后查询，也供大家交流经验。 任务要求： （1）安装Nodejs，编辑器用VSCode。 （2）了解一下webpack，npm，es6等这些概念。 （3）多用用npm这个网站，做东西前先找找别人造好的轮子。https://www.npmjs.com/search?q=three 3D 一、Node.js 1、Node...
Java 基础常见知识点&面试题总结(上)，2022 最新版
m0_67322837的博客
09-16 402
在 Java 中，JVM 可以理解的代码就叫做字节码（即扩展名为.class的文件），它不面向任何特定的处理器，只面向虚拟机。Java 语言通过字节码的方式，在一定程度上解决了传统解释型语言执行效率低的问题，同时又保留了解释型语言可移植的特点。所以， Java 程序运行时相对来说还是高效的（不过，和 C++，Rust，Go 等语言还是有一定差距的），而且，由于字节码并不针对一种特定的机器，因此，Java 程序无须重新编译便可在多种不同操作系统的计算机上运行。我们需要格外注意的是.class->机器码这一步。
【GIT】.cr、.gitattributes 、 .gitignore和.git各文件夹讲解介绍
weixin_44939430的博客
10-15 978
git文件夹是 Git 仓库的核心，包含了版本控制所需的所有信息，包括提交历史、分支、配置、索引和操作日志等。它通过对象存储文件快照，并提供了强大的分支和合并功能。如果没有.git文件夹，Git 就无法跟踪项目的版本历史。❗注意不要删除或修改.git文件夹中的内容，否则会破坏仓库的版本控制数据。如果需要管理.git仓库的配置或数据，最好使用 Git 提供的命令（如git configgit reflog等）来操作。
Spring Boot 集成 Elasticsearch入门教学
IT界的奇葩
10-11 666
Elasticsearch 是一个分布式搜索引擎，用来处理大规模数据的存储、搜索和分析。它是基于 Apache Lucene 构建的，具备高效的全文搜索功能。ES 可以在海量数据中快速找到匹配的内容，并且支持复杂的查询逻辑，非常适合用于日志分析、商品搜索、数据可视化等场景。
git的使用
u012834688的博客
10-11 456
的别名，并可能配置了提交前的钩子检查。如果希望忽略这些检查，确保了解如何正确配置或使用。在切换分支之前，通常需要先将更改提交到当前分支。这会将当前分支的HEAD指针和工作目录都回退到指定的提交。文件并添加需要忽略的文件或目录，以避免它们被Git跟踪。分支的内容进行初始化，然后切换到这个新分支。如果你需要删除远程的某个分支（假设分支名为。分支合并到当前分支（假设当前分支是。标记的分支是当前所在的分支（即。如果需要回退到特定的提交（例如。分支创建一个新的本地分支。这将创建一个新的本地分支。
eslint的使用及部分配置规则
最新发布
lotpyve的博客
10-17 828
虽然随着 eslint 的更新，上面的视频操作已经和新版本的 eslint 有所差别了，但是仔细看一下官网，然后在看一边视频，一般都是可以使用的。然后如果我们在项目中使用 vue 或者 react 等框架，他们对应有自己的 eslint 插件，有插件自己的配置语法检查规则。强制执行 "for" 循环更新子句，使计数器向正确的方向移动。首先创建一个项目文件夹，我这里叫做 eslint-test。在数组方法的回调中强制执行 return 语句。禁止使用异步函数作为 Promise 执行器。
git的基本使用
2301_79568779的博客
10-11 747
版本：软件版本，文件版本，保存重要的历史记录，恢复数据版本控制软件的基础功能：保存和管理文件，提供客户端工具访问，提供不同版本文件比对功能。
ElasticSearch简称ES基础语法使用大全
云霄IT的博客
10-14 430
注意：字符串搜索时，会对输入的查询字符串进行分析和分词，可能导致意外匹配或未匹配。注意：term 查询日期字符串时，因为映射方式不同可能存在匹配不到。
Elasticsearch面试深度解析：关键知识点与调优策略
"Elasticsearch面试题和答案涵盖了多个核心概念，包括节点配置、主节点选举、性能调优、防止脑裂策略以及大数据量聚合的实现。" 在Elasticsearch中，一个Node的分片分配数量通常是根据官方建议来设定的，避免过多以...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值