Elasticsearch 笔记 倒排索引 keyword 和 text

https://blog.iaiot.com/elasticsearch-notes.html

1.倒排索引(Inverted Index):倒排索引是实现“单词-文档矩阵”的一种具体存储形式,通过倒排索引,可以根据单词快速获取包含这个单词的文档列表。倒排索引主要由两个部分组成:“单词词典”和“倒排文件”。

原文:http://www.cnblogs.com/zlslch/p/6440114.html

总结

单词ID:记录每个单词的单词编号;
单词:对应的单词;
文档频率:代表文档集合中有多少个文档包含某个单词
倒排列表:包含单词ID及其他必要信息
DocId:单词出现的文档id
TF:单词在某个文档中出现的次数
POS:单词在文档中出现的位置
     以单词“加盟”为例,其单词编号为6,文档频率为3,代表整个文档集合中有三个文档包含这个单词,对应的倒排列表为{(2;1;<4>),(3;1;<7>),(5;1;<5>)},含义是在文档2,3,5出现过这个单词,在每个文档的出现过1次,单词“加盟”在第一个文档的POS是4,即文档的第四个单词是“加盟”,其他的类似。
这个倒排索引已经是一个非常完备的索引系统,实际搜索系统的索引结构基本如此。

 

2.中文分词

https://github.com/medcl/elasticsearch-analysis-ik

http://www.cnblogs.com/zlslch/p/6440373.html

 

3.keyword 和 text

keyword:不进行分词,直接索引、支持模糊、精确查询、支持聚合

text:会分词,然后进行索引、支持模糊、精确查询、不支持聚合

默认的动态模板,可以同时支持两种类型

参考:https://elasticsearch.cn/question/2099

https://www.jianshu.com/p/0d13dd7d813a

https://blog.csdn.net/u011652364/article/details/78581737

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Elasticsearch倒排索引是一种用于高效查找文档中关键词的技术。它与传统的正向索引(例如将每个单词关联到包含该词的所有文档列表)相反,在倒排索引中,我们按照词频来组织数据。 ### 倒排索引的工作原理 1. **分词**:首先对输入文本进行分词处理,将其分解成一系列单独的词汇或短语。 2. **建立映射**:对于每种不同的词,创建一个指向所有包含这个词的文档的映射表。这使得可以快速找到所有包含特定词的文档集合。 3. **频率记录**:在映射表中不仅存储文档ID,还可能记录关键词出现的次数、位置等信息,以便更精确地定位匹配的文档。 ### Elasticsearch 中的应用 Elasticsearch 使用倒排索引作为其核心搜索机制之一,提供快速全文检索能力。以下是几个关键方面: #### 高效查询 - **简单而强大的查询语言**:支持复杂的布尔查询、通配符查询、范围查询等多种形式。 - **实时性和响应速度**:查询响应速度快,适合在线应用环境,能够即时更新索引和返回结果。 #### 扩展性和灵活性 - **分布式架构**:利用集群技术实现横向扩展,可以轻松处理大量数据和高并发请求。 - **动态调整配置**:无需重启即可动态修改设置,如增加节点、改变索引策略等。 #### 索引优化 - **智能缓存**:Elasticsearch 内置了高效的缓存机制,通过缓存热门查询的结果,显著提升查询性能。 - **自适应分析**:可以根据实际查询模式自动调整索引结构,提高检索效率。 #### 安全性和管理 - **权限控制**:支持细粒度的安全控制,保障敏感数据安全。 - **监控与诊断**:提供丰富的API和工具用于性能监控和故障排查。 ### 相关问题: 1. 倒排索引在搜索引擎中的作用是什么? 2. Elasticsearch如何优化倒排索引以提高查询性能? 3. 倒排索引对于大规模数据集的管理和查询有何优势和挑战? --- 通过以上解答,您可以了解Elasticsearch倒排索引的基本工作原理及其在实际应用中的重要作用。如果您有进一步的问题或需要更多深入的信息,请随时提问!
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值