【Elasticsearch】es fielddata 字段数据

已于 2023-04-05 19:07:44 修改
阅读量1.8k 收藏
点赞数
分类专栏： 大数据-Elasticsearch 文章标签： elasticsearch fielddata 字段数据 聚合
于 2020-11-02 23:12:43 首次发布
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/109454829
版权
大数据-Elasticsearch 专栏收录该内容
561 篇文章 548 订阅 ¥79.90 ¥99.00
订阅专栏
Elasticsearch的text字段在排序、聚合或脚本访问时使用fielddata，这是一种内存数据结构。fielddata加载昂贵且占用堆内存，可能导致内存溢出。默认禁用，可通过配置启用并限制内存使用。doc_values是替代方案，适用于不分词字段。了解fielddata与doc_values的异同有助于优化查询性能。
摘要由CSDN通过智能技术生成

在这里插入图片描述

1.概述

官网：官网

在es中，text类型的字段使用一种叫做fielddata的查询时内存数据结构。当字段被排序，聚合或者通过脚本访问时这种数据结构会被创建。它是通过从磁盘读取每个段的整个反向索引来构建的，然后存存储在java的堆内存中。

Fielddata针对text字段在默认时是禁用的，Fielddata会占用大量堆空间，尤其是在加载大量的文本字段时。 一旦将字段数据加载到堆中，它在该段的生命周期内将一直保留在那里。 同样，加载字段数据是一个昂贵的过程，可能导致用户遇到延迟的情况。 这就是默认情况下禁用字段数据的原因。如果尝试对文本字段进行排序，聚合或脚本访问，将看到以下异常：

“Fielddata is disabled on text fields by default. Set fielddata=true on [your_field_name] in order

了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
开启Text的fielddata=true
tangbin0505的博客
09-09 1450
一 用命令操作 在ElasticSearch中默认fielddata默认是false的，因为开启Text的fielddata后对内存的占用很高 curl -i -H "Content-Type:application/json" -XPUT 127.0.0.1:9200/your_index/_mapping/your_type/?pretty -d'{"your_type":{"properties":{"your_field_name":{"type":"text","fielddata":t.
ElasticSearch填坑记1：_uid字段排序（fielddata特性），导致内存占用，不断GC，最后OOM
sunlen的专栏(编程技术探讨)
12-21 1788
在某一天，我们的系统突然异常，大面积出现白屏，搜索页面点击后，响应非常慢，大量出现响应超过4秒的情况，异常高峰期平均查询时间达到10多秒，后台不断有ES服务宕机重启，GC告警频繁，经过一阵排查折腾，发现居然是简单的_uid字段排序导致的，下面就详细的讲一下。 我们的ES搜索收到一个小小的需求，原来我们的搜索，新的结果会被放到后面去，产品经理希望能够对搜索结果进行排序，按照创建时间倒序排序。 这里自然的相对用ES系统字段_uid进行倒序排序，因为这个字段是按照创建时间生成的...
Elasticsearch：fielddata 介绍
Elastic 中国社区官方博客
12-14 3892
默认情况下，大多数字段都已编入索引，这使它们可搜索。 但是，脚本中的排序，聚合和访问字段值需要与搜索不同的访问模式。 搜索需要回答“哪个文档包含该术语？”这个问题，而排序和汇总则需要回答一个不同的问题：“此字段对该文档的值是什么？”。 大多数字段可以将索引时生产的磁盘doc_values用于此数据访问模式，但是文本（text）字段不支持doc_values。 替代的方案，文本（text）字段...
图解 Elasticsearch 的 Fielddata Cache 使用与优化
最新发布
铭毅天下Elasticsearch
08-21 1102
1、难搞的 fielddata cache在 ES 使用的几个内存缓存中，fielddata cache 算是一个让人头疼的家伙。作为和 query cache 和 request cache 一样不受 GC 控制的内存使用者，fielddata cache 虽然也有 indices.fielddata.cache.size 的设置来阻止过度使用，但是默认是不限制的。并且，当 fielddata ...
elasticsearch的Doc Values 和 Fielddata
thomas0yang的专栏
03-30 1万+
DocValues 什么是DocValues 简单说明DocValues就是一个种列式的数据存储结构（docid、termvalues）。 倒排索引的优势在于查找包含某个项的文档，即通过Term查找对应的docid。 term的倒排 Term Doc_1 Doc_2 Doc_3 brown X X dog X
elasticsearch中 fieldData
Angus
03-28 2985
fieldData是干啥的？ 当我们对text类型的字段进行首次聚类、排序、或者执行脚本的时候。将磁盘中的数据构建到内存够中。 默认情况下，大多数字段都已编入索引，这使它们可搜索。 但是，脚本中的排序，聚合和访问字段值需要与搜索不同的访问模式。 搜索需要回答“哪个文档包含该术语？”这个问题，而排序和汇总则需要回答一个不同的问题：“此字段对该文档的值是什么？”。 大多数字段可以将索引时生产的磁盘doc_values(doc_values | Elasticsearch Guide [8.1] | E
Elasticsearch 之（31）fielddata原理初探
vincent
05-28 4853
1、《Elasticsearch 之（6）kibana嵌套聚合，下钻分析，聚合分析》提到 对于分词的field执行aggregation，发现报错GET /test_index/test_type/_search { "aggs": { "group_by_test_field": { "terms": { "field": "test_field" ...
【ElasticSearch 8 边学边教】03. ElasticSearch 8 的数据基本操作
Y_C_S_M的博客
05-26 844
第二篇记录了Kibana的安装，这一篇就主要记录下在Kibana下对数据的基本操作，当然在讲之前，我得简单介绍一下ElasticSearch的基本概念以及它的数据结构，然后再讲基本操作。 （由于最近在忙着刷Leetcode，同时这一篇涉及的内容比较多，我得专门专门找本书去看，所以更新得比
Elasticsearch：Fielddata is disabled on text fields by default. Set fielddate=true on...
赵大土的博客
09-08 1175
Fielddata is disabled on text fields by default. Set fielddate=true on...问题原因解决方案一（常用）解决方案二解决方案三 今天在ES中执行cardinality时报出illegal_argument_exception，提示原因是Fielddata is disabled on text fields by default. Set fielddata=true on [policyno] in order to load fieldd
7.4.3-elasticsearch索引字段类型参数
红笺小字
05-30 4843
fielddata、format、ignore_above、ignore_malformed、index、index_options、index_phrases、index_prefixes参数详情说明
更新fielddata为true_关于ElasticSearch的聚类时出现fielddata=true问题
weixin_39551996的博客
01-17 212
在ElasticSearch中默认fielddata默认是false的，因为开启Text的fielddata后对内存的占用很高index：megacorptype：employee如果进行聚合查询时候：GET /megacorp/employee/_search{"aggs": {"all_interests": {"terms": { "field": "interests" }}}}返回错误码...
ElasticSearch：从[FIELDDATA]Data too large错误看FieldData配置
热门推荐
雷雨中的双桅船
07-06 2万+
产生Data too large异常 再尝试其他查询也是如此经排查原来是ES默认的缓存设置让缓存区只进不出引起的具体分析一下 ES缓存区概述 FieldData 1 监控FieldData 2 Cache配置 3 FieldData格式 断路器 总结1. 产生Data too large异常今早运行查询时，ES返回了如下报错：{ "error": "... CircuitBreakingE
ElasticSearch中的field data（正排索引）
大JAVA解决方案
07-27 1173
glrh123 2016-07-29 11:07:01 3137 已收藏 1 分类专栏： ElasticSearch 版权 主要参考文章：http://www.tuicool.com/articles/B3QnQzE 正排索引与倒排索引 Elasticsearch使用一种叫做倒排索引(inverted index)的结构来做快速的全文搜索。倒排索引由在文档中出现的唯一的单词列表，以及对于每个单词在文档中的位置组成。倒排索引的结构如下图，它存储的内容是“哪些词语出现在了哪些文档中”，这种结构决定了...
Elasticsearch系列：番外篇-Fielddata
布道
02-26 3529
在上一篇DocValues中介绍过，它主要是针对not analyzed String字段存储，那要针对需要分词的字段该如何sort，agg，group，facet呢？一般默认情况下，它会报错。 GET /test_index/test_type/_search { "aggs": { "group_by_test_field": { "terms": { ...
Elasticsearch学习---fielddata应用介绍
自律使我自由
07-20 3262
前言
ElasticSearch教程——fielddata原理初探
东天里的冬天
11-21 3827
ElasticSearch汇总请查看：ElasticSearch教程——汇总篇   1、博文kibana嵌套聚合，下钻分析，聚合分析中kibana嵌套聚合，下钻分析，聚合分析 GET /test_index/test_type/_search { "aggs": { "group_by_test_field": { "terms": { "fiel...
ElasticSearch中doc values和fielddata
happy19870612's blog
11-15 1万+
一 为什么聚合排序不适合使用倒排序索引 假设现在有以下的一个搜索： POST /ecommerce/music/_search {    "size":0,    "query":{        "match":{            "desc":"吉他"         }     },    "aggs":{        "brands":{
更新fielddata为true_es fielddata理解
weixin_33751984的博客
01-17 1906
在es中，text类型的字段使用一种叫做fielddata的查询时内存数据结构。当字段被排序，聚合或者通过脚本访问时这种数据结构会被创建。它是通过从磁盘读取每个段的整个反向索引来构建的，然后存存储在java的堆内存中。fileddata默认是不开启的。Fielddata可能会消耗大量的堆空间，尤其是在加载高基数文本字段时。一旦fielddata已加载到堆中，它将在该段的生命周期内保留。此外，加载f...
ElasticSearch学习笔记之八 Doc Values and Fielddata
灵动的艺术的博客
10-19 1713
ElasticSearch学习笔记之八 Doc Values and FielddataDoc Values 简介Doc values 的原理深入理解 Doc Values列式存储的压缩禁用 Doc ValuesAnalyzed strings and Fielddata Doc Values 简介 当你对一个字段进行排序时，Elasticsearch 需要访问每个匹配到的文档得到相关的值。倒排索...
Elasticsearch的字段数据缓存如何配置？
03-02
Elasticsearch的字段数据缓存可以通过配置来进行优化。字段数据缓存是指将经常使用的字段值加载到内存中，以加快查询速度。以下是配置字段数据缓存的方法： 1. fielddata： - 在映射中将字段的fielddata属性设置为true，即可启用字段数据缓存。例如： ``` PUT my_index { "mappings": { "properties": { "my_field": { "type": "text", "fielddata": true } } } } ``` - 通过修改现有映射或创建新的映射来启用字段数据缓存。 2. index.fielddata.cache： - 可以通过修改elasticsearch.yml配置文件来配置字段数据缓存的大小。找到该文件并添加以下配置： ``` index.fielddata.cache.size: 50% ``` - 这将为字段数据缓存分配索引可用内存的50%。 3. 查询时禁用字段数据缓存： - 对于某些查询，禁用字段数据缓存可能更合适。可以在查询中使用`fielddata_fields`参数来禁用字段数据缓存。例如： ``` GET my_index/_search { "query": { "match_all": {} }, "fielddata_fields": ["my_field"] } ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值