ElasticSearch——setting部分不存储某个字段

最新推荐文章于 2024-08-22 22:48:15 发布
最新推荐文章于 2024-08-22 22:48:15 发布
阅读量8.1k 收藏 5
点赞数 2
分类专栏： Elasticsearch 搜索引擎 ElasticSearch从0到1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shiyaru1314/article/details/50803685
版权

方案1

setting中的通用属性Store

该属性的取值可以为yes和no，用于指定字段的原始属性是否存入索引。默认值是no.意味着不能在结果中返回字段的原始值（即使没有存储原始值，也可以使用Soure字段返回原始值）。如果已经建立索引可以搜索该字段的内容。

ElasticSearch默认是存储整个文件的，如果要改变这种情形的话可以设置：“_source”:{"enable":"false"}

PUT ibase/_mapping/ptcontext
{
  "_source": {
    "enabled": false
  },
  "_all": {
    "enabled": true,
    "store": false,
    "analyzer": "biGrams"
  },
  "properties": {
    "Id": {
      "type": "string",
      "include_in_all": false,
      "index": "not_analyzed"
    },
    "PT": {
      "type": "string",
      "index": "not_analyzed",
      "fields": {
        "f_path": {
          "type": "string",
          "analyzer": "path_divide"
        }
      }
    },
    "BP": {
      "type": "string",
      "index": "not_analyzed",
      "fields": {
        "f_path": {
          "type": "string",
          "analyzer": "path_divide"
        }
      }
    },
    "BF": {
      "type": "string",
      "index": "not_analyzed",
      "fields": {
        "f_path": {
          "type": "string",
          "analyzer": "path_divide"
        }
      }
    },
    "BOT": {
      "type": "string",
      "index": "not_analyzed",
      "fields": {
        "f_path": {
          "type": "string",
          "analyzer": "path_divide"
        }
      }
    },
    "UBP": {
      "type": "string",
      "index": "not_analyzed",
      "fields": {
        "f_path": {
          "type": "string",
          "analyzer": "path_divide"
        }
      }
    },
    "UPT": {
      "type": "string",
      "index": "not_analyzed",
      "fields": {
        "f_path": {
          "type": "string",
          "analyzer": "path_divide"
        }
      }
    }
  }
}



搜索返回字段的话，就不能返回，因为每个字段默认是不存储的。



使用_Source来限定返回的字段，更是会报错，因为整个Source是不存储的

关闭这个开关之后就可以自定义那个字段需要存储那个不需要存储

如下：

PUT ibase/_mapping/ptcontext
{
  "_source": {
    "enabled": false
  },
  "_all": {
    "enabled": true,
    "store": false,
    "analyzer": "biGrams"
  },
  "properties": {
    "Id": {
      "type": "string",
      "include_in_all": false,
      "index": "not_analyzed"
    },
    "PT": {
      "type": "string",
      "index": "not_analyzed",
      "fields": {
        "f_path": {
          "type": "string",
          "analyzer": "path_divide"
        }
      }
    },
    "BP": {
      "type": "string",
      "index": "not_analyzed",
      "store": true,              //设置为存储
      "fields": {
        "f_path": {
          "type": "string",
          "analyzer": "path_divide"
        }
      }
    },
    "BF": {
      "type": "string",
      "index": "not_analyzed",
      "fields": {
        "f_path": {
          "type": "string",
          "analyzer": "path_divide"
        }
      }
    },
    "BOT": {
      "type": "string",
      "index": "not_analyzed",
      "fields": {
        "f_path": {
          "type": "string",
          "analyzer": "path_divide"
        }
      }
    },
    "UBP": {
      "type": "string",
      "index": "not_analyzed",
      "fields": {
        "f_path": {
          "type": "string",
          "analyzer": "path_divide"
        }
      }
    },
    "UPT": {
      "type": "string",
      "index": "not_analyzed",
      "fields": {
        "f_path": {
          "type": "string",
          "analyzer": "path_divide"
        }
      }
    }
  }
}

搜索结果条件，返回特定字段必须用 fields

GET jurassic_ibase/ptcontext/_search
{
  "fields": [ "PT", "BP" ] ,
  "size": 2
}

返回结果中只返回BP而没有返回PT，因为PT字段虽然索引，但是整个字段的值是没有存储的 

{
   "took": 1,
   "timed_out": false,
   "_shards": {
      "total": 1,
      "successful": 1,
      "failed": 0
   },
   "hits": {
      "total": 4278,
      "max_score": 1,
      "hits": [
         {
            "_index": "ibase",
            "_type": "ptcontext",
            "_id": "AVNA6S2uH6PqkrPoQOu_",
            "_score": 1,
            "fields": {
               "BP": [
                  "科研/目标评价/单井评价/单井基础地质条件/井区区域沉积背景分析"
               ]
            }
         },
         {
            "_index": "ibase",
            "_type": "ptcontext",
            "_id": "AVNA6S2zH6PqkrPoQOvA",
            "_score": 1,
            "fields": {
               "BP": [
                  "科研/方案设计/完井方案设计/固井评价级评估/施工作业设计"
               ]
            }
         }
      ]
   }
}

于是最终结论一下：

  1. 默认整个json文档是存储的
  2. 默认每个字段是不存储的

so，如果需要定义某些字段存储，某些不存储，需要关闭开关1，针对不同字段设置开关2

方案 2

但是经过总结使用上面的方式太过繁琐，每次返回的字段都需要使用 fields 罗列所有的返回字段，而且还没有 exclude 或者是 include 的方法

而且需要存储的，还需要一个字段一个字段的设置存储为true，然而我的需求中只有一个字段很大不需要存储

寻寻觅觅，这里有另一种方法 ，还是_source好用！

使用如下，关键前三行

PUT ibase/_mapping/ptcontext
{
   "_source": {
    "excludes": [ "PP"]
  },
  "_all": {
    "enabled": true,
    "store": false,
    "analyzer": "biGrams"
  },
  "properties": {
    "Id": {
      "type": "string",
      "include_in_all": false,
      "index": "not_analyzed"
    },
    "PT": {
      "type": "string",
      "index": "not_analyzed",
      "fields": {
        "f_path": {
          "type": "string",
          "analyzer": "path_divide"
        }
      }
    },
    "PP": {
      "type": "string",
      "index": "not_analyzed",
      "fields": {
        "f_path": {
          "type": "string",
          "analyzer": "path_divide"
        }
      }
    },
    "BF": {
      "type": "string",
      "index": "not_analyzed",
      "fields": {
        "f_path": {
          "type": "string",
          "analyzer": "path_divide"
        }
      }
    },
    "BOT": {
      "type": "string",
      "index": "not_analyzed",
      "fields": {
        "f_path": {
          "type": "string",
          "analyzer": "path_divide"
        }
      }
    },
    "UBP": {
      "type": "string",
      "index": "not_analyzed",
      "fields": {
        "f_path": {
          "type": "string",
          "analyzer": "path_divide"
        }
      }
    },
    "UPT": {
      "type": "string",
      "index": "not_analyzed",
      "fields": {
        "f_path": {
          "type": "string",
          "analyzer": "path_divide"
        }
      }
    }
  }
}

 然后查询：使用fields限定 和使用source限定返回的字段

GET jurassic_ibase/ptcontext/_search
{
  "fields": ["PP","PC"],
   "size":2
}
  
GET jurassic_ibase/ptcontext/_search
{
  "_source": ["BP","PT"],
   "size":2
}

返回结果中不包含PP：

{
   "took": 2,
   "timed_out": false,
   "_shards": {
      "total": 1,
      "successful": 1,
      "failed": 0
   },
   "hits": {
      "total": 4278,
      "max_score": 1,
      "hits": [
         {
            "_index": "ibase",
            "_type": "ptcontext",
            "_id": "AVNBPbz8H6PqkrPoQSzY",
            "_score": 1,
            "fields": {
               "PT": [
                  "控制储量面积分布图"
               ]
            }
         },
         {
            "_index": "ibase",
            "_type": "ptcontext",
            "_id": "AVNBPb0CH6PqkrPoQSzZ",
            "_score": 1,
            "fields": {
               "PT": [
                  "/反演剖面图1"
               ]
            }
         }
      ]
   }
}


3.返回全部字段，看是否包含不存储字段

GET jurassic_ibase/ptcontext/_search
{
 "query": {
    "match_all": {}
  },
   "size":2
}

返回结果 

{
   "took": 2,
   "timed_out": false,
   "_shards": {
      "total": 1,
      "successful": 1,
      "failed": 0
   },
   "hits": {
      "total": 4278,
      "max_score": 1,
      "hits": [
         {
            "_index": "ibase",
            "_type": "ptcontext",
            "_id": "AVNBPbz8H6PqkrPoQSzY",
            "_score": 1,
            "_source": {
               "UBP": "",
               "PT": "控制储量面积分布图",
               "BF": "",
               "BOT": "",
               "UPT": "",
               "Id": "7b5a401b-2fe9-41c7-ba24-a4e646e86be7"
            }
         },
         {
            "_index": "ibase",
            "_type": "ptcontext",
            "_id": "AVNBPb0CH6PqkrPoQSzZ",
            "_score": 1,
            "_source": {
               "UBP": "",
               "PT": "/反演剖面图1",
               "BF": "",
               "BOT": "油气藏",
               "UPT": "",
               "Id": "94303507-d67c-43a2-8d9c-a4eb9118dd90"
            }
         }
      ]
   }
}

成功去除不存储字段，同时也做到不存储该字段，这个方法所是最好的解决方案了！








温水的小青蛙2023
关注
专栏目录
【Elasticsearch】7.9 单字段支持的最大字符数
九师兄
10-25 1879
1.概述 1.1 官网 官网：https://www.elastic.co/guide/en/elasticsearch/reference/current/ignore-above.html#ignore-above ignore_above 长于ignore_above设置的字符串将不会被索引或存储。对于字符串数组，ignore_above将分别应用于每个数组元素，且字符串元素的长度大于ignore_above将不会被索引或存储的字符串元素。 _source如果启用了这是Elasticsearch中.
【ES专题】ElasticSearch集群架构剖析_es集群
2401_84159688的博客
04-28 999
诸如。
ES 查询不存在的某个字段
bohu83的博客
08-19 6980
更新了es数据的索引，查看下是否全部都有新的field. 不存在 GET index/_search { "query": { "bool": { "must_not": { "exists":{"field":"filedX"} } }} } 如果存在，使用must
springboot整合ElasticSearch 某个属性不存储到ES
SeasmallTop的博客
07-26 1312
springboot整合ElasticSearch@Document类某个属性不存储到ES 在需要忽略的字段上加上 @Transient （org.springframework.data.annotation.Transient）即可 import lombok.Data; import lombok.experimental.Accessors; import org.springframework.data.annotation.Id; import org.springframework.data.
Elasticsearch简单介绍
最新发布
qq_41938541的博客
08-22 2280
SQL 适用于需要强一致性和复杂关系查询的场景，比如财务系统、事务型数据库。Elasticsearch 更适合大规模实时搜索、日志分析、全文检索等应用场景，具有高扩展性和近实时搜索能力。这两者可以互补使用，SQL 处理结构化数据，ES 提供搜索和分析。
从es中恢复不存储的字段内容的方法
qqqq0199181的博客
12-21 1137
原理分析 es中有个隐藏的字段_source,这个字段中存了其他字段的内容，我们直接查询es返回的结果中展示的各个字段的值其实就是从_source字段中读取的。如果想要对一个字段只建索引，不做存储。就是不把这个字段的值存在_source字段中，这样查询结果中就不会显示该字段的内容。如下图所示： 从test3的mapping信息中可以看出 name,count字段是不存储字段内容的。 因此，我们...
Elasticsearch能查询到文档，但响应结果中却没有_source信息
大头之家
05-09 5065
众所周知_source字段显示文档的具体内容信息 但有时当我们新建了一条索引并且向其中插入了数据后，查询发现能查到数据（found为true），但是却没有_source字段的内容。 通过查询索引的详情可以看到索引mapping的source enabled属性设置为了false 但是这个属性默认为true，而且我创建时候并没有设置它，为什么它变成了false？可能是磁盘空...
【Spring Data】向Elasticsearch中写入时指定忽略字段
mikeguo's blog
11-10 1221
另一个 @Transient 注解对于JPA有效。
elasticsearch学习笔记——一 ubuntu16.04,18.04安装部署es6.8.4,kibana并使用kibana操作es
White
04-27 543
单机部署es,部署es2个集群,kibana，部署中文分词器 使用kibana操作es 新增删除修改查询PUT DELETE POST GET 新增删除修改查询：索引（索引命名规范），分片（主分片，备份分片数量），类型，mapping（数据类型，分词器，子字段，keyword），分词器 _anylysis 批量操作 _bulk（同一索引类型可简写到请求行中） ...
【ES专题】ElasticSearch集群架构剖析_es集群(2)
2401_84166258的博客
04-30 776
诸如。
2024年最新【ES专题】ElasticSearch集群架构剖析_es集群，系列篇
2301_79098963的博客
05-05 832
诸如。
ElasticSearch 忽略实体类中某个字段到mapping映射
syh_1001的博客
05-08 5778
在项目中遇到一个问题，因业务问题需要再实体类中冗余一个字段，且该字段没必要生成ES Mapping，经过一番研究、搜索之后终于得到解决，可使用 @Transient 注解（需注意，注解为java.beans.Transient） 标记在该字段的setter方法上，这样在使用ES.index时，则不会将该字段映射到ES mapping中 ...
es不允许自动新增字段
sunlang的博客
12-24 2266
一个索引在查询的时候，查询者如下写法： GET /iot_ads_x_hour/_doc { "query": { "bool": { "must": [{ "term": { "equipmentNo.keyword": "R19009-0002-0003-120100LAE-1011" } }, { "term": { "span": "1" } }, { "range": { "t_start": { .
Elasticsearch只索引不存储数据
cuixuefeng1112的专栏
12-13 5229
mapping：         {         "_source": {             "enabled": false         },         "_all": {             "enabled": true,             "store": false,             "analyzer": "index_ansj
ElasticSearch中的index、store、_source、_all属性
huanglibincc的博客
08-03 1265
一. source和store属性二. all属性三. index属性 一. source和store属性 二. all属性 三. index属性
JAVA学习实战（四）ElasticSearch原理及使用介绍
xiaocaij_icai的博客
06-10 1867
ElasticSearch是一个开源的，分布式的，可扩展的全文搜索引擎，它可以快速的存储，搜索数据 ElasticcSearch是一个RESTful风格的搜哦和数据分析引擎，他的底层是Apache Lucene,Lucene使用过于复杂，因此ES应运而生，其使用JAVA编写，简单来说就是对Lucene去做了一层封装，提供了一套简单的API来帮助我们实现存储和检索的功能。ES概述： ES是面向文档的，这意味着它可以存储整个对象或者文档，并且他还有搜索功能，在ES中，你可以通过对文档进行索引，排序，搜索过滤简单
ES优化实战 - 小操作节省百分之三十以上的磁盘空间
热门推荐
Angus
09-25 38万+
un_source 是去掉存储的数据。在查询的时候，不反回数据。数据只做索引和倒排这些。这样做的意思是，只让es做检索，不做存储。es检索完，只返回一个id。然后选用Hbase这样的数据库联动。Hbase擅长的是根据key来取值，花费的是磁盘。不占太多其它资源。
ES 设置只索引不存储的source field
lzf的博客
10-14 2803
Including / Excluding fields from _source An expert-only feature is the ability to prune the contents of the _source field after the document has been indexed, but before the _source field is stored. ...
在表的某一字段前后批量添加字符串
二黑的博客
01-31 1808
表如下，表名：biao1，有三个字段 1、在cardid字段前面统一添加“3201” update biao1 set cardid=3201||cardid    如下图所示 2、在cardid字段后面统一添加“12” update biao1 set cardid=cardid||12    如下图所示    ...
如何让elasticsearch不查询某个字段里的内容
02-13
在查询的时候可以使用 "_source" 参数来排除指定的字段。例如： ``` GET index_name/_search { "_source": ["field1", "field2"], "query": { "match_all": {} } } ``` 上面的代码将查询 index_name 索引中的 field1 和 field2 字段，不查询其他字段。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值