elasticsearch之字段field参数

最新推荐文章于 2024-11-14 15:17:21 发布
最新推荐文章于 2024-11-14 15:17:21 发布
阅读量7.6k 收藏 49
点赞数 24
分类专栏： elasticsearch 文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_18218071/article/details/113728857
版权

下面翻译下field的基本属性

1.analyzer

对字段使用分词器，注意一般如果要使用分词器，字段的type一般是text。对于查询来说，也要指定相同的分词器，这样能保证查询和存储使用相同的格式。
分词器可以应用到field，index和查询中。es在存储时，分词器使用的优先级是：

  • field最高
  • index的次之
  • standard分词器
    es在查询时，分词器优先级是：
  • full-text query使用的分词器
  • 定义在field上的 search_analyzer分词器，是指term查询
  • 定在在field上的analyzer分词器
  • 索引上的default_search分词器
  • 索引上的default分词器
  • standard分词器

最简单的方式是直接在field定义分词器，不用向上去找其他定义的分词器，下面是一个例子，title使用默认的standard分词器，address使用english分词器

PUT /my_index
{
  "mappings": {
    "my_type": {
      "properties": {
        "title": {
          "type": "text"
        },
        "address": {
          "type": "text",
          "analyzer": "english"
        }
      }
    }
  }
}

我们可以使用_analyze查看一个文本是怎么分词的
例如

GET my_index/_analyze 
{
  "field": "title",
  "text": "The quick Brown Foxes."
}

对应的分词结果是：
在这里插入图片描述

  • search_quote_analyzer 短语查询分词
    用于确定用引号的句子查询，对句子使用的分词方式，我们之所以使用带有引号的短语作为查询，一般都是想精确查询，这时候该功能就有用了，下面是例子,定义两个分词器：my_analyzer不会去除停顿词，my_stop_analyzer:去除停顿词。并放入两个文档。
PUT my_index
{
   "settings":{
      "analysis":{
         "analyzer":{
            "my_analyzer":{ 
               "type":"custom",
               "tokenizer":"standard",
               "filter":[
                  "lowercase"
               ]
            },
            "my_stop_analyzer":{ 
               "type":"custom",
               "tokenizer":"standard",
               "filter":[
                  "lowercase",
                  "english_stop"
               ]
            }
         },
         "filter":{
            "english_stop":{
               "type":"stop",
               "stopwords":"_english_"
            }
         }
      }
   },
   "mappings":{
      "my_type":{
         "properties":{
            "title": {
               "type":"text",
               "analyzer":"my_analyzer", 
               "search_analyzer":"my_stop_analyzer", 
               "search_quote_analyzer":"my_analyzer" 
            }
         }
      }
   }
}

PUT my_index/my_type/1
{
   "title":"The Quick Brown Fox"
}

PUT my_index/my_type/2
{
   "title":"A Quick Brown Fox"
}

如果我们的查询条件是下面情况，则会返回两条数据，因为使用是my_stop_analyzer，去除查询中的停顿词。

GET my_index/my_type/_search
{
   "query":{
      "":{
         "query":"the quick brown fox" 
      }
   }
}

如果我们的查询条件是下面情况，则会返回第二条数据，因为使用是my_analyzer，不会去除the，精确查询。

GET my_index/my_type/_search
{
   "query":{
      "":{
         "query":"\“the quick brown fox"\" 
      }
   }
}

2.normalizer

对field设置为标准，例如把字段中的所有的大写转为小写等，下面是具体的例子

PUT index
{
  "settings": {
    "analysis": {
      "normalizer": {
        "my_normalizer": {
          "type": "custom",
          "char_filter": [],
          "filter": ["lowercase", "asciifolding"]
        }
      }
    }
  },
  "mappings": {
    "type": {
      "properties": {
        "foo": {
          "type": "keyword",
          "normalizer": "my_normalizer"
        }
      }
    }
  }
}

PUT index/type/1
{
  "foo": "BÀR"
}

PUT index/type/2
{
  "foo": "bar"
}

PUT index/type/3
{
  "foo": "baz"
}

GET index/_search
{
  "query": {
    "match": {
      "foo": "BAR"
    }
  }
}

返回的结果是两个，因为在查询和索引的时候会把BAR都转为小写，其实文档1和2具有相同的含义。同样上面的情况在聚合也是一样的，1和2是同样的。

3.boost

提高field的得分权重，不建议使用。

4.coerce

是否可以使用强制转换，例如“5”可以放入integer的字段中。如果设置为false，则不可以使用该功能。可以在索引上设置默认的值 "index.mapping.coerce": true

PUT my_index
{
  "mappings": {
    "my_type": {
      "properties": {
        "number_one": {
          "type": "integer"
        },
        "number_two": {
          "type": "integer",
          "coerce": false
        }
      }
    }
  }
}

可以正确的添加
PUT my_index/my_type/1
{
  "number_one": "10" 
}

失败：字符串不可以转成整型。
PUT my_index/my_type/2
{
  "number_two": "10" 
}

5.copy_to

把值拷贝到另一个字段中。一般是索引的_all设置为false，用于自定义新的组合字段。

6.doc_values

一般都是设置为true，支持除了text的字段所有的字段类型。排序、聚合、脚本等方式必须要设置为true。如果确定不使用字段聚合、排序、脚本查询等功能，可以设置为false，例如地址信息等，会节约磁盘空间，但是数据仍然会在_source中展示出来。

doc_values设置为false，对于查询仍然是可以用的，只是不能用于排序和聚合操作。

"session_id": { 
   "type": "keyword",
   "doc_values": false
}

7.dynamic

设置索引新加字段field是否可以动态添加到索引mapping中。有三种值可以使用

  • true：新监听到的字段可以动态添加到mapping中
  • false：新监听到字段会被忽略，不可以索引，也不可以被搜索到，但是会在_source中展示出来，（必须显示添加字段到mapping）
  • strict:新监听到字段会抛出异常，必须显示添加字段到mapping
PUT my_index
{
  "mappings": {
    "my_type" : {
      "dynamic": false, 
      "properties": {
        "name" : {
          "type" : "keyword"
        },
        "age" : {
          "type" : "integer"
        },
        "date" :{
          "type": "date",
          "format": "yyyy-MM-dd HH:mm:ss"
        },
        "session_info" : {
          "type" : "keyword",
          "doc_values" : false
        }
      }
    }
  }
}

设置为false，添加数据如下，添加一个不存在的addr字段

POST my_index/my_type/1111
{
  "name" : "zhangsan",
  "age" : 19,
  "addr" : "shanghai",
  "session_info" : "one"
}

可以用其他字段查询
在这里插入图片描述
但是直接用addr查询，则查询不到
在这里插入图片描述
当设置为strict，则添加数据的时候，直接报错。
在这里插入图片描述

8.enabled

字段或者索引是否可以被检索，但是数据会存储下来，只是不能被查询。通常用于记录数据，例如用户反馈问题的正文，内容较大，只是存储展示，但是不需要检索。该字段可以放入任何样式的数据，因为es不会对其进行分析。

PUT my_index
{
  "mappings": {
    "my_type" : {
      "properties": {
        "name" : {
          "type" : "keyword"
        },
        "age" : {
          "type" : "integer"
        },
        "session_info" : {
          "enabled" : false
        }
      }
    }
  }
}

POST my_index/my_type/1111
{
  "name" : "zhangsan",
  "age" : 19,
  "session_info" : "one"
}

也可以对整个索引设置为false，只是这时候只是用于存储数据，不能用任何字段检索，一般比较少用

PUT my_index
{
  "mappings": {
    "session": { 
      "enabled": false
    }
  }
}

设置为false，只有一个作用就是记录数据，查询、排序、聚合等都不可用

9.fielddata

解决text类型字段不能用于排序、聚合的问题，但是该属性，默认值是false，因为会大大加大内存的压力，不鼓励使用。

"addr": {
   "type": "text",
   "fielddata":true
 }

如果非要使用排序、聚合，建议使用下面方式，用addr.keyword进行聚合，排序。

"addr": {
   "type": "text",
   "fields": {
     "keyword": {
       "type": "keyword",
       "ignore_above": 256
     }
   }
 }

10.format

定义日期时间格式，详细见 https://blog.csdn.net/qq_18218071/article/details/113471974

11.ignore_above

对于字段内容过长的字段，超过指定的长度，该文档的字段将不可以被检索或者存储，一般该值设置为 256

PUT my_index
{
  "mappings": {
    "my_type" : {
      "properties": {
        "name" : {
          "type" : "keyword",
          "ignore_above": 10
        },
        "age" : {
          "type" : "integer"
        },
        "session_info" : {
          "enabled" : false
        }
      }
    }
  }
}
插入两条数据
POST my_index/my_type/1111
{
  "name" : "zhangsan",
  "age" : 19,
  "session_info" : "one"
}

POST my_index/my_type/2222
{
  "name" : "zhangsan124578082432",
  "age" : 19,
  "session_info" : "one"
}

执行下面查询将不会有结果。

GET my_index/_search
{
  "query": {
    "term": {
      "name": {
        "value": "zhangsan124578082432"
      }
    }
  }
}

注意该字段可以用于查询、排序或者聚合，因为有的文档并没有超过范围，只是对超过范围的文档不在存在作用
比如下图：排序的结果，数据作为null检索处理
在这里插入图片描述

12.ignore_malformed

允许当值插入字段时，因为字段类型配置不对，导致插入异常时，可以把该值设置为true，这时候就不会抛出异常，只是该字段不能被索引，其他字段可以正常插入。

PUT my_index
{
  "mappings": {
    "my_type": {
      "properties": {
        "number_one": {
          "type": "integer",
          "ignore_malformed": true
        },
        "number_two": {
          "type": "integer"
        }
      }
    }
  }
}

可以正常插入，但是不能用foo检索
PUT my_index/my_type/1
{
  "text":       "Some text value",
  "number_one": "foo"     
}

抛出异常，整个文档都不可以插入
PUT my_index/my_type/2
{
  "text":       "Some text value",
  "number_two": "foo" 
}

在索引级别设置
“settings”: {
“index.mapping.ignore_malformed”: true
}

13.include_in_all

字段是否作为_all其中的一部分

14.index

设置字段是否索引，默认是true，如果是false则该字段不能被查询

15.fields

实现一个字段多种数据类型，例如下例name是全文检索的，但是我们也可以对其进行排序或者聚合等，其中kyname可以理解为附加名，如果不设置，默认是keyword。

PUT my_index
{
  "mappings": {
    "my_type": {
      "properties": {
        "number_one": {
          "type": "integer"
        },
        "name": {
          "type": "text",
          "fields": {
            "kyname" : {
              "type": "keyword"
            } 
          }
        }
      }
    }
  }
}

下面是查询方式：

GET my_index/_search
{
  "query": {
    "term": {
      "name.kyname": {
        "value": "ma yun"
      }
    }
  }
}

16.null_value

给null设置默认值，name 的默认值是 "is null"

PUT my_index
{
  "mappings": {
    "my_type": {
      "properties": {
        "number_one": {
          "type": "integer"
        },
        "name": {
          "type": "keyword",
          "null_value": "is null"
        }
      }
    }
  }
}

查询结果如下：
在这里插入图片描述

17.search_analyzer

显示指定搜索时分词器，默认是和索引是同一个，保证分词的一致性。

18.similarity

指定text检索相似性的算法

  • BM25 默认算法
  • classic TF/IDF算法
  • boolean

19.store

对于es默认字段是可以索引的，但是不能store的，也就是字段可以被查询，但是不能检索原始值。（我也没理解），但是通常这是无所谓的，因为他们都会存在_source中，数据都是拿到的。但是对于大字段，我们不需要检索，那么我们就可以不store，节省磁盘空间。
该属性只要是设置_source的enabled为false时，其他字段可以被存储。

20.总结：

index：不可以搜索，但可以排序、聚合
enabled：不可以搜索，排序、聚合
doc_values：可以搜索，但不可以排序、聚合
store：可以搜索、排序、聚合
fielddata：是解决text字段不能排序、聚合的问题。

最后补充点：_source只是记录写入es中数据的原始数据，至于字段是否能搜索、排序、聚合和_source没有任何关系。因为是否被搜索、排序、聚合是由倒排索引决定的，也就是文档的词项是否存在倒排索引中。例如source中是name的值是 Quick star，当我们用标准分词器standard分词后，其实在倒排索引中是 quick 和 star词项，也就是你直接使用Quick查询，就查不到该文档了。使用quick可以查到。所以_source只是记录你写入es的数据的原始数据。至于es认识不认识你的查询，是看倒排索引中是否有你查询的词项的。

Elasticsearch 之（19）cross-fields策略
vincent
05-22 2695
cross-fields搜索，一个唯一标识，跨了多个field。比如一个人，标识，是姓名；一个建筑，它的标识是地址。姓名可以散落在多个field中，比如first_name和last_name中，地址可以散落在country，province，city中。跨多个field搜索一个标识，比如搜索一个人名，或者一个地址，就是cross-fields搜索初步来说，如果要实现，可能用most_fields...
7.4.3-elasticsearch索引字段类型参数
红笺小字
05-30 4892
fielddata、format、ignore_above、ignore_malformed、index、index_options、index_phrases、index_prefixes参数详情说明
ElasticSearch--Field的使用
F0217911的博客
08-29 3495
文章通过指定ElasticSearch中文本field属性来配合IK分词器的更好使用，同时也对搜索功能进行了增强
Elasticsearch：从搜索中获取选定的字段 fields
Elastic 中国社区官方博客
04-06 1万+
在实际的搜索返回数据中，我们经常会用选择地返回所需要的字段或部分的 source。这在某些情况下非常有用，因为对于大规模的数据来说，返回的数据大下直接影响网路带宽的使用以及内存的使用。默认情况下，搜索响应中的每个匹配都包含文档 _source，这是在为文档建立索引时提供的整个 JSON 对象。 要检索搜索响应中的特定字段，可以使用 fields 参数： POST my-index-000001/_search { "query": { "match": { "message":
ElasticSearch--field详细介绍及Spring Boot整合ElasticSearch
LHRomance的博客
08-29 1720
ElasticSearch--field详细介绍及Spring Boot整合ElasticSearch
7.4.5-elasticsearch索引字段类型参数
红笺小字
05-31 1538
norms、null_value、position_increment_gap、properties、search_analyzer、similarity、store、term_vector参数详细说明
Elasticsearch多字段聚合查询，包含多个不同嵌套字段。以及查询结果解析
最新发布
weixin_45871527的博客
11-14 660
ES多字段聚合查询，包含多个不同嵌套字段。并且解析结果。
ElasticSearch - Field Type 字段类型
袭冷
02-15 1225
一、参考地址 https://www.elastic.co/guide/en/elasticsearch/reference/7.10/mapping-types.html 二、常用类型 Text 文本类型，存储字符串的类型，全文检索的字段类型；字符串将被分析器分析（分词）；用于全文检索；不用于排序，也很少用于聚合 Keywords 关键字类型，存储字符串的类型，单词匹配的字段类型；字符串将按原样保留而被存储；用于过滤和排序和汇总；避免用于全文...
go elasticsearch多字段聚合统计
leijmdas的专栏
08-04 456
在Elasticsearch中，多字段聚合统计允许你同时对多个字段进行聚合操作，这在需要对不同维度的数据进行分析时非常有用。在这个示例中，我们首先创建了一个基于 product_category 字段的Terms聚合，然后创建了一个基于 price 字段的Range聚合，并将其作为子聚合添加到Terms聚合中。使用 TermsAggregation 和 RangeAggregation 来构建一个多字段聚合查询，例如，首先按产品类别分组，然后在每个类别中按价格区间进行分组。// 构建Terms聚合。
Elasticsearch：Runtime fields - 运行时字段（一）
Elastic 中国社区官方博客
07-02 1940
运行时字段通常包含一个 Painless 脚本，该脚本以某种方式操纵数据。但是，有些情况下，你可能会定义一个运行时字段而不使用脚本。例如，如果你想从 _source 中检索单个字段而不进行更改，则不需要脚本。如果未提供脚本，Elasticsearch 会在查询时隐式地在 _source 中查找与运行时字段同名的字段，并返回一个值（如果存在）。如果不存在同名的字段，则响应不包含该运行时字段的任何值。在大多数情况下，尽可能通过doc_values检索字段值。
Elasticsearch 映射参数 fields
小黑王HK
11-03 3万+
fields 处于不同的目的，通过不同的方法索引相同的字段通常非常有用。这也是多字段的目的。例如，一个字符串字段可以映射为text字段用于全文本搜索，也可以映射为keyword字段用于排序或聚合。 PUT my_index { "mappings": { "_doc": { "properties": { "city": { "type...
ElasticSearch 的 mapping 参数 - fields
LoveSummer
12-26 2万+
在 es 中，一个字段可能运用于不同的场景，但是某个字段类型的使用场景是有局限的。
Elasticsearch中fields的含义和使用场景作用用途干什么的
小獣专栏
07-09 2538
多字段查询：使用子字段定义一个字段的不同类型，可以根据不同的查询需求进行优化。高亮显示：使用子字段定义一个字段的关键字类型，可以在搜索结果中进行高亮显示。高亮显示是一种突出显示搜索结果中匹配的文本的方式，它可以提高用户体验和搜索结果的可读性。关键字类型是不分析的，它存储原始的、未经分析的文本，并且可以精确匹配和排序。定义子字段，您可以更细致地控制字段的处理和索引行为，以满足不同的查询需求，并在排序、聚合、高亮显示和多字段查询等方面提供更好的功能和性能。是用于定义字段的子字段（sub-field）的部分。
Elasticsearch 之（18）best fields，most fields策略
vincent
05-22 2206
基于dis_max实现best fields策略进行多字段搜索1、为帖子数据增加content字段POST /forum/article/_bulk { "update": { "_id": "1"} } { "doc" : {"content" : "i like to write best elasticsearch article"} } { "update":
elasticsearch mapping之fields
vincent_duan的专栏
01-14 4638
ES允许同一个字段有两个不同的类型，例如一个字段可以拥有keyword类型来进行聚合与排序，也可以拥有text来做全文检索。 举例如下： PUT my_index { "mappings": { "type": { "properties": { "city": { "type": "text", "fields": ...
spring data elasticsearch的 @Documnet 和 @Field 注解
热门推荐
浮生若梦
07-19 4万+
@Documnet 注解 public @interface Document { String indexName();//索引库的名称，个人建议以项目的名称命名 String type() default “”;//类型，个人建议以实体的名称命名 short shards() default 5;//默认分区数 short replicas() default 1;//每个分区默认的...
Elasticsearch中字段类型(Field Type)详解
aben_sky的专栏
10-11 1万+
ElasticSearch 7.7 字段类型(Field datatype)详解 字符串, object, 数值, 日期, 数组, 0x00 字符串: text,...
es script 字段删除参数内容
09-27
### 回答1： 如果您想删除 ES 索引中的某个文档的 script 字段的参数内容，可以使用如下的 CURL 命令： ``` curl -X POST "localhost:9200/index_name/_update/doc_id" -H 'Content-Type: application/json' -d' { "script": { "source": "ctx._source.remove(\"script_field_name\")" } } ' ``` 其中，`index_name` 是您的索引名称，`doc_id` 是要更新的文档的 ID，`script_field_name` 是要删除的 script 字段的参数名称。执行该命令后，该文档中的 script 字段的参数内容将被删除。 ### 回答2： es script字段可以通过脚本语言来操作和修改文档中的字段内容，包括删除字段的内容。在es中，可以使用脚本语言如painless来删除文档字段的内容。 使用es的update api来更新文档，可以在请求体中设置script字段来执行脚本操作。在script字段中，可以使用painless脚本语言编写相应的代码来删除字段内容。 例如，假设有一个名为"my_field"的字段，我们想要删除它的内容，可以通过以下代码来实现： ``` POST /index_name/_update/document_id { "script": { "source": "ctx._source.my_field = null" } } ``` 在以上代码中，"index_name"是索引的名称，"document_id"是要更新的文档的ID。在script字段的source属性中，我们将my_field字段的值设置为null，即删除其内容。 执行以上请求后，es会找到相应的文档并执行脚本，将my_field字段的内容删除。 需要注意的是，要使用script字段来更新文档，需要在es的配置文件中打开相应的脚本功能。否则，默认情况下是禁止使用脚本的。 总之，通过设置es的script字段，我们可以使用脚本语言来删除文档中字段的内容，从而实现对文档的灵活操作。 ### 回答3： es script字段是用于执行脚本的字段，可以在文档索引时对字段进行动态操作。通过使用script字段，我们可以实现对字段的删除。在删除参数内容时，可以使用如下示例代码： ``` POST /my_index/_update/<doc_id> { "script" : { "source": "ctx._source.remove('field_name')" } } ``` 在上述代码中，我们使用了update API来更新文档。`<doc_id>`是需要被更新的文档的ID。在script字段中，我们使用了`ctx._source.remove('field_name')`来删除指定字段的内容。 其中，`ctx._source`是指向当前文档源的指针，可以通过它来对文档进行修改。`remove('field_name')`表示删除指定字段的内容。 需要注意的是，如果要删除的字段不存在，脚本将不会产生任何效果，也不会引发错误。 最后，执行上述请求后，指定字段的内容就会被删除。 以上就是使用es script字段删除参数内容的方法，通过将上述代码适用于具体的环境和需求，即可实现删除指定字段内容的操作。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值