深入理解Elasticsearch的`_source`字段与索引优化

一勺菠萝丶

于 2024-09-07 14:33:00 发布

阅读量987

点赞数 23

分类专栏： # SpringBoot # ELK 文章标签： elasticsearch jenkins 大数据

本文链接：https://blog.csdn.net/weixin_39973810/article/details/141995636

版权

SpringBoot 同时被 2 个专栏收录

47 篇文章 1 订阅

订阅专栏

ELK

9 篇文章 0 订阅

订阅专栏

在Elasticsearch (ES) 中，_source字段是一个关键组件，它不仅决定了数据的存储方式，还影响到查询时返回的内容。在某些场景下，我们可以通过配置_source来优化存储和性能，尤其是当我们希望减少存储空间或避免返回某些字段时。本篇博客将详细介绍如何通过_source的 excludes 选项排除字段存储，但仍然保留其索引功能的操作原理及应用场景。

1. 什么是`_source`字段？

_source是每个文档在Elasticsearch中存储的原始数据。默认情况下，当你索引文档时，整个文档的数据会被存储在_source中，ES会将其完整存储并在查询时返回。当你进行GET请求获取文档时，返回的正是这个_source数据。

但是，在某些情况下，我们可能不希望存储所有字段的值，尤其是一些大型的文本字段。此时，通过配置_source的excludes选项，我们可以决定不将这些字段存储下来，但它们仍然可以被索引用于查询。

2. `mappings`中的`_source`配置示例

以下是一个mappings定义的示例，其中我们通过_source的excludes选项排除了两个字段：full_text_claim和full_text_description。

"mappings": {
  "_doc": {
    "_source": {
      "excludes": [
        "full_text_claim",
        "full_text_description"
      ]
    },
    "properties": {
      "full_text_claim": {
        "type": "text"
      },
      "full_text_description": {
        "type": "text"
      },
      // 其他字段定义...
    }
  }
}

解读：

_source字段的排除：通过 excludes 选项，我们明确排除了 full_text_claim 和 full_text_description。这意味着在存储文档时，这两个字段的原始数据不会被保存下来。
索引功能依然保留：虽然没有存储这两个字段的数据，但它们依然可以被索引，也就是说，你依然可以基于这些字段进行查询和检索。

3. 为什么要排除某些字段？

在实际应用中，排除一些不需要存储的字段有以下几个好处：

节省存储空间：有些字段（例如全文本数据）可能非常大。如果你不需要这些字段在查询时返回，则可以选择不将它们存储在 _source 中，这样可以减少磁盘空间的占用。
提升索引效率：在写入文档时，ES 需要将每个字段的数据保存到 _source 中。如果某些字段的数据量较大，通过排除它们可以提升索引写入的效率，特别是对于高频写入的场景。
保护数据隐私：某些字段可能包含敏感数据，比如客户的隐私信息或机密字段。通过不存储这些字段，可以防止它们在查询结果中被返回，从而提升数据安全性。
减少网络开销：如果某些字段数据量大且在查询时不需要返回，排除它们可以减少查询时的数据量，提升响应速度，减少网络传输的负担。

4. 排除字段后，仍然可以检索吗？

这是一个关键问题：即使我们不存储某些字段，它们仍然可以用于查询和检索。

在上面的 mappings 配置中，full_text_claim 和 full_text_description 虽然没有被存储在_source中，但由于它们被索引了，仍然可以用于全文检索。这意味着你依然可以基于这两个字段的数据进行搜索和查询操作。例如：

{
  "query": {
    "match": {
      "full_text_claim": "some search term"
    }
  }
}

这段查询语句依然可以正常运行，并返回匹配到的文档。这是因为虽然这些字段的原始数据没有存储下来，但它们的数据已经被索引，因此可以参与全文搜索。

5. `索引 vs 存储`：二者的区别

在Elasticsearch中，需要明确区分索引和存储的区别：

索引 (Indexing)：当某个字段被索引时，它的数据会被ES处理并构建索引，用于查询操作。即使该字段不被存储，它仍然可以参与搜索。
存储 (Storing)：存储是指将字段的原始数据保存到_source中，方便在查询时将完整的数据返回给客户端。如果某个字段没有被存储，那么查询时无法返回其原始数据。

因此，即使字段被排除在_source之外，它依然可以参与查询，但查询结果中不会返回该字段的原始数据。

6. 如何控制哪些字段需要存储？

通过以下配置，可以决定哪些字段存储，哪些不存储：

"_source": {
  "excludes": ["field_name1", "field_name2"]
}

如果你希望某个字段不仅被索引，还能存储并在查询时返回，可以将其从excludes中移除，或者完全省略 excludes：

"_source": {
  "excludes": []
}

7. 具体应用场景举例

全文检索应用：对于大型的文本字段，例如专利的详细描述、法律条款等，通常我们需要对其进行全文检索，但不需要每次查询都返回完整文本。通过排除字段的存储，只索引这些字段，可以提高系统性能。
日志系统优化：在日志分析系统中，某些字段可能包含详细的日志信息（例如堆栈跟踪、错误详情等），这些数据通常用于检索和分析，但不需要频繁返回给用户。通过排除这些字段的存储，可以显著减少存储需求。
敏感数据处理：某些系统中的数据（例如用户的隐私信息、交易详情等）可能包含敏感信息。为了确保数据隐私，开发者可能希望这些数据仅用于查询，而不直接返回给客户端。

8. 如何查询排除字段？

如果某些字段被排除在存储之外，你仍然可以在查询时通过这些字段进行检索，但无法直接返回这些字段的内容。你可以指定只返回那些未被排除的字段，例如：

{
  "_source": ["title", "app_date"],
  "query": {
    "match_all": {}
  }
}

这将返回文档中 title 和 app_date 字段的数据，而不会返回被排除的 full_text_claim 和 full_text_description。

9. 总结

Elasticsearch 提供了灵活的 _source 配置，允许我们通过 excludes 来排除不需要存储的字段。这样做的好处包括节省存储空间、提高写入效率、减少网络负担，以及确保数据隐私。同时，即使字段不被存储，它们依然可以被索引，用于查询和检索。理解并合理配置_source字段，能有效优化系统性能，适应不同的应用场景需求。