Elasticsearch 关键概念介绍

例如,假设我们有两个文档,每个文档的 content 域包含如下内容:

文档ID文档内容
1Tom has a cat
2This cat is very cute

倒排索引

Elasticsearch 使用一种称为 倒排索引 的结构,它适用于快速的全文搜索。一个倒排索引由文档中所有不重复词的列表构成,对于其中每个词,有一个包含它的文档列表。

为了创建倒排索引,我们首先将每个文档的 content 域拆分成单独的 词,创建一个包含所有不重复词条的排序列表,然后列出每个词条出现在哪个文档。结果如下所示:

Term12
tom
has
a
cat
this
is
very
cute

形成如下

TermDoc
tom[1]
has[1]
a[1]
cat[1,2]
this[2]
is[2]
very[2]
cute[2]

Doc values

利用操作系统的内存,而不是 JVM 的 Heap

在搜索的时候,我们能通过搜索关键词快速得到结果集。
当排序的时候,我们需要倒排索引里面某个字段值的集合。换句话说,我们需要 转置 倒排索引。
转置 结构在其他系统中经常被称作 列存储 。实质上,它将所有单字段的值存储在单数据列中,这使得对其进行操作是十分高效的,例如排序。

在 Elasticsearch 中,Doc Values 就是一种列式存储结构

文档ID文档词条
1a, cat, has,tom
2cat,cute,is,this,very

Fielddata

利用 JVM 的 Heap (踩过坑)

控制参数:

#为 fielddata 设置一个上限
indices.fielddata.cache.size:  20%

#fielddata 断路器默认设置堆的 60% 作为 fielddata 大小的上限。
indices.breaker.fielddata.limit
#request 断路器估算需要完成其他请求部分的结构大小,例如创建一个聚合桶,默认限制是堆内存的 40%。
indices.breaker.request.limit
#total 揉合 request 和 fielddata 断路器保证两者组合起来不会使用超过堆内存的 70%
indices.breaker.total.limit

查看集群fielddata

GET _cat/fielddata

清理fielddata

POST _cache/clear
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值