Elasticsearch——倒排索引与分词

最新推荐文章于 2024-03-12 14:09:32 发布
最新推荐文章于 2024-03-12 14:09:32 发布
阅读量261 收藏
点赞数
分类专栏： Elasticsearch 文章标签： elasticsearch 搜索引擎 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46369022/article/details/125045268
版权

目录

正排索引和倒排索引

正排索引：
文档ID到文档内容、单词的关联关系
在这里插入图片描述
根据文档id获取文档内容

倒排索引：
单词到文档ID的关联关系：
在这里插入图片描述
根据单词可以获取到它属于哪个文档

两者关系：
在这里插入图片描述
将文档内容分词即可得到倒排索引。

因此我们可以将两者结合实现一个搜索流程：
在这里插入图片描述

倒排索引的构成

单词词典

在这里插入图片描述
在这里插入图片描述

倒排列表

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

分词

分词是将文本转换成一系列单词的过程，也可以叫做文本分析，在es里面称为Analysis
在这里插入图片描述
在这里插入图片描述

Analyze API

在这里插入图片描述
当查询结果与预期不匹配的时候，可以用这些分词器接口进行测试：

standard是es的默认分词器
在这里插入图片描述
在这里插入图片描述在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

es自带分词器

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述在这里插入图片描述
在这里插入图片描述
在这里插入图片描述在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

自定义分词

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

官方文档：
链接: https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html
在这里插入图片描述

GuochaoHN
关注
专栏目录
ElasticSearch - 分布式搜索引擎底层实现——倒排索引
CYK_byte的博客
09-23 699
第一次是根据用户输入的内容的词条，去找到对应的文档 id.第二次是拿着文档 id 来找文档.这样的查询效率，相比于正向索引中搜索 包含手机关键字的 数据，一行一行去查找就要快的多了.倒那么这里也能够看出，排索索引为什么是倒排了，因为正向索引中，得一行一行找，找到匹配的放到结果集中，而倒排索引就是反过来，基于词条创建索引，搜多的时候，就是根据词找到对应的文档（正向索引就是根据文档来找词）.
elasticsearch篇之正/倒排索引与分词
lyzkks的博客
05-11 4010
倒排索引与分词 类似于书的目录，目录能够方便的定位哪一章节或哪一小节的页码，但是无法定位某一关键字的位置。有一些书的最后有索引页，它的功能就是帮助定位某些关键字出现的位置。 目录页对应正排索引 索引页对应倒排索引 正排索引和倒排索引 对于搜索引擎来讲： 正排索引是文档 Id 到文档内容、单词的关联关系。也就是说可以通过 Id获取到文档的内容。 倒排索引是单词到文档 Id ...
ElasticSearch(五) 倒排索引与分词
Clown95
06-07 755
title: ElasticSearch(五) 倒排索引与分词 tags: ElasticSearch author: Clown95 倒排索引与分词 倒排索引 Elasticsearch 使用一种称为倒排索引的结构，它适用于快速的全文搜索。一个倒排索引由文档中所有不重复词的列表构成，对于其中每个词，有一个包含它的文档列表。 为了更好的理解倒排索引，我们先说下《高性能MySql》这本书的目录和...
elasticsearch倒排索引与分词
小旋锋 的博客
08-16 1167
倒排索引 正排索引：文档id到单词的关联关系 倒排索引：单词到文档id的关联关系 示例： 对以下三个文档去除停用词后构造倒排索引 倒排索引-查询过程 查询包含“搜索引擎”的文档 通过倒排索引获得“搜索引擎”对应的文档id列表，有1，3 通过正排索引查询1和3的完整内容 返回最终结果 倒排索引-组成 单词词典（Term Dictionary） 倒排列表（Post...
ElasticSearch 倒排索引、分词
hebeind100的博客
11-04 552
es使用称为倒排索引的结构达到快速全文搜索的目的。   一个倒排索引包含一系列不同的单词，这些单词出现在任何一个文档， 对于每个单词，对应着所有它出现的文档。   比如说，我们有2个文档，每个文档有一个conteng字段。 内容如下： “ The quick brown fox jumped over the lazy dog” “ Quick brown foxes leap...
ElasticSearch 倒排索引与分词详细说明
Seina
05-21 1509
正排索引：文档 Id 到文档内容、单词的关联关系 文档 ID 文档内容 1 elasticsearch 是最流行的搜索引擎 2 php 是世界上最好的语言 3 搜索引擎是如何诞生的 倒排索引：单词到文档 Id 的关联关系 单词 文档 ID 列表 elasticsearch 1 流行 1 搜索引擎 1、3 php 2 世界 2 最好 2...
【ElasticSearch入门】3、倒排索引、分词器
Zangjiji的博客
05-18 524
【ElasticSearch入门】3、倒排索引、分词器 一、倒排索引 首先大家可以去看看这篇文章，讲的不错！ 时间序列数据库的秘密(2)——索引_数据库_陶文_InfoQ精选文章 正排索引-文档 Id 到文档内容和单词的关联 倒排索引-单词到文档 Id 的关系 倒排索引表三列：单词，次数，文档ID和位置。 倒排索引包含两部分：单词词典（Team Dictionary）和倒排列表（Posting List） 单词词典记录单词到倒排列表的关联关系，一般通过 B+ 树或者哈希链表实现 倒排列表记录单词对
机器学习基础——倒排索引与搜索引擎
TechFlow的博客
01-08 299
今天的文章，我们继续探讨搜索引擎，和大家聊聊搜索引擎最重要的一环——倒排索引。 在介绍倒排索引之前，我们先来看看什么是索引。索引是数据库当中的概念，维基百科中的说法是“数据库索引，是数据库管理系统中一个排序的数据结构，以协助快速查询、更新数据库表中数据”。可以简单地把索引当成是字典里的检索目录，我们比如我们要查一个叫“index”的单词，通过目录，可以快速地找到字母i开始的位置。索引也是一样，不过...
走近 ElasticSearch （二）——Document概念、倒排索引原理与分词介绍
Daioo 随笔
05-30 925
一、前言 （知识搬运工 二、Document 介绍 1. Document 数据类型 Json Object，由字段（Field）组成，常见数据类型如下： 字符串: text, keyword 数值型: long, integer, shot, byte, double, float,haf_float, scaled_float 布尔: boolean 日期: date 二进制: binary...
ElasticSearch.md倒排索引
10-23
- 与正向索引比较：正向索引是通过扫描每一条数据（文档）来确定是否符合条件，而倒排索引是通过内容分词后查找符合条件的数据（文档） - MySQL与ElasticSearch的对比 - 表——Index（索引） - 数据（行）——...
2 Elasticsearch 篇之倒排索引与分词
李玉坤的博客
01-03 973
文章目录书的目录与索引正排与倒排索引简介倒排索引详解分词介绍analyze_api自带分词器Standard AnalyzerSimple AnalyzerWhitespace AnalyzerStop AnalyzerKeyword AnalyzerPattern AnalyzerLanguage Analyzer中文分词自定义分词CharacterFilterTokenizerTokenFil...
ElasticSearch倒排索引、分词的详解和使用建议
Jack章臣的博客
03-09 1117
一、倒排索引（Inverted Index） ElasticSearch引擎把文档数据写入到倒排索引（Inverted Index）的数据结构中，倒排索引建立的是分词（Term）和文档（Document）之间的映射关系，在倒排索引中，数据是面向词（Term）而不是面向文档的。 一个倒排索引由文档中所有不重复词的列表构成，对于其中每个词，有一个包含它的文档列表。 举个例子： 对以下三个文档...
Elasticsearch分词索引机制
TORCH_LI的博客
01-09 1272
Elasticsearch分词索引机制
Elasticsearch 正/倒排索引与分词详解
程序员学习圈
02-28 648
1.正排索引和倒排索引简介 对于搜索引擎来讲。 正排索引是文档 Id 到文档内容、单词的关联关系，也就是说可以通过 Id获取到文档的内容。 倒排索引是单词到文档 Id 的关联关系，也就是说了一通过单词搜索到文档 Id。 倒排索引的查询流程是：首先根据关键字搜索到对应的文档 Id，然后根据正排索引查询文档 Id 的完整内容，最后返回给用户想要的结果。 ...
Elasticsearch系列---倒排索引原理与分词器
黄鹰的专栏
12-23 1043
概要 本篇主要讲解倒排索引的基本原理以及ES常用的几种分词器介绍。 倒排索引的建立过程 倒排索引是搜索引擎中常见的索引方法，用来存储在全文搜索下某个单词在一个文档中存储位置的映射。通过倒排索引，我们输入一个关键词，可以非常快地获取包含这个关键词的文档列表。 我们先看英文的，假设我们有两个文档： I have a friend who loves smile love me, I love you...
Elasticsearch - 倒排索引
qq_39679639的博客
12-05 1269
在上一篇笔记Elasticsearch基础和原理中介绍了Elasticsearch的一些基本概念和原理，我们知道Elasticsearch是基于Json格式存储，每一个文档可以理解成一个json对象。这看起来和MySQL(InnoDB)完全不同的存储方式，是如何做到近乎实时检索的呢？这篇笔记就来学习一下倒排索引 简单的倒排索引示例 假如我们在ES中存在这样三条记录： { "_id": 1, "log": "Oscar is fourteen years old", } { "_id": 2, "l
Elasticsearch-倒排索引原理
csdn_life18的博客
02-01 324
正向索引 正排表是以文档的ID为关键字，表中记录文档中每个字的位置信息，查找时扫描表中每个 文档中字的信息直到找出所有包含查询关键字的文档。 这种组织方法在建立索引的时候结构比较简单，建立比较方便且易于维护;因为索引是基于文档建立的，若是有新的文档加入，直接为该文档建立一个新的索引块，挂接在原来索引文件的后面。若是有文档删除，则直接找到该文档号文档对应的索引信息，将其直接删除。但是在查询的时候需对所有的文档进行扫描以确保没有遗漏，这样就使得检索时间大大延长，检索效率低下。 尽管正排表的工作原理非常的简单，
3. ElasticSearch搜索技术深入与聚合查询实战
最新发布
Zhuxiaoyu_91的博客
03-12 1126
分词器官方称之为文本分析器，顾名思义，是对文本进行分析处理的一种手段，基本处理逻辑为按照预先制定的分词规则，把原始文档分割成若干更小粒度的词项，粒度大小取决于分词器规则。
ElasticSearch的倒排索引和分词
weixin_42061487的博客
08-27 783
倒排索引 倒排索引以字或词为关键字进行索引，表中关键字所对应的记录表项记录了出现这个字或词的所有文档，一个表项就是一个字表段。它记录该文档的ID和字符在该文档中出现的位置情况。 以下三个文档去除停用词后构造倒排索引 Term(单词)： 一段文本经过分析器以后就会输出一串单词，这一个个的就叫做Term Term Dictionary(单词字典) 顾名思义，它里面维护的是Term，可以理解为Term的集合 Term Index(单词索引): 为了更快的找到某个单词，我们为单词建立索引 Posting L
ElasticSearch 学习：倒排索引与核心概念解析
Elasticsearch 的存储结构是倒排索引和位图相结合，使其在处理大规模数据时保持高效。为了应对数据增长，可以通过垂直扩容（增加单节点硬件资源）或水平扩容（添加更多节点）来扩展集群。在扩展过程中，需要关注分片...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

GuochaoHN

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值