Elasticsearch使用Ingest Pipeline进行数据预处理

最新推荐文章于 2025-08-21 00:43:16 发布
原创 最新推荐文章于 2025-08-21 00:43:16 发布 · 3.8k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#elasticsearch #数据预处理 #ES进行数据预处理

本文详细介绍了Elasticsearch 7.x如何使用Ingest Pipeline进行数据预处理，替代Logstash。内容涵盖Ingest Pipeline的基本概念、常用processor及其用法，包括split、join、gsub等，并通过实例展示了如何创建和应用pipeline，以及使用Painless脚本处理复杂场景。同时，对比了Ingest Pipeline与Logstash在数据预处理上的异同。

本文基于Elasticsearch7.x

Elasticsearch可以使用自身的Ingest Pipeline功能进行数据预处理, 无须借助Logstash.

Ingest Pipeline介绍

在这里插入图片描述

Ingest Pipeline 就是在文档写入Data Node之前进行一系列的数据预处理, 进行数据预处理的就是processor, 一组处理器构成了Pipeline. 所有的预处理都在Ingest Node上执行, 默认情况下所有节点都是Ingest Node.

常用的processor

  • split processor
    字符串切分成数组
  • join processor
    数组转化成字符串
  • gsub processor
    字符串替换
  • set processor
    创建或替换一个字段.
  • remove processor
    移除一个字段
  • rename processor
    重命名一个字段
  • lowercase processor
    字符串小写化
  • upcase processor
    字符串大写化
  • script processor
    使用painless脚本进行复杂的处理
  • …

语法

(1) 创建pipeline

description是对pipeline的描述, processors定义了一组处理器.

PUT /_ingest/pipeline/my
最低0.47元/天 解锁文章

200万优质内容无限畅学
【Elasticsearch】inference ingest pipeline
risc123456的博客
01-21 916
假设你已经按照前面的步骤创建了索引并插入了数据，查询结果将包含文档的 `_id`、`_source` 等字段。- 使用上述代码创建一个 Ingest Pipeline，该管道将使用 `my_word_embedding_model` 模型进行推理，并将结果存储在 `embedding` 字段中。假设你索引了一个文档，其中 `word` 字段为 "example"，`embedding` 字段为 `[0.1, 0.2, ..., 0.100]`，查询结果将返回这个文档的信息。考虑在生产环境中进行性能测试。
es-Ingest pipelines
童小绿 学无止境
05-22 921
Ingest pipelines node为ingest角色，对indexing request做预处理，主要用于数据转换为合规、期望值的场景 官方地址： https://www.elastic.co/guide/en/elasticsearch/reference/7.13/ingest.html#ingest 使用pipeline必要条件 node角色必须为：ingest pipeline的组成 { "description" : "...", "processors" : [ ... ] }
全面、可落地的Elasticsearch 数据管道（Ingest Pipeline） 详解
最新发布
csdn_tom_168的博客
08-21 757
Elasticsearch Ingest Pipeline 核心指南 Ingest Pipeline 是 Elasticsearch 内置的轻量级数据处理引擎，支持通过 处理器链（Processors） 在文档写入前完成数据清洗、转换和标准化。核心能力包括： 日志解析：通过 grok 处理器提取结构化字段（如 Nginx 日志） 数据转换：支持字段重命名（rename）、类型转换（convert）、时间格式化（date） 灵活扩展：结合 script 处理器执行 Painless 脚本实现复杂逻辑 无缝集成
Elasticsearch摄取节点（一）——管道（pipeline）介绍
大风的博客
11-26 4716
摄取节点的作用 之前在介绍ES集群的时候，曾经介绍过集群中存在一个摄取节点，在数据保存到文档索引之前，我们可能需要对文档进行预处理，而摄取节点会拦截这些请求，根据需要将文档中的内容进行处理然后传递会索引或者API中。 摄取节点的配置 默认配置下所有节点都启用了ingest。因此任何一个ES节点都可以处理ingest任务。就像之前ES集群中描述的，我们可以创建一个专门处理相关业务的ingest节点。...
Elasticsearch Ingest Pipelines
程序员小潘
10-15 1635
在将第三方数据源的数据导入到Elasticsearch中时，原始数据长什么样，索引后的文档就是什么样。文档数据结构不统一，导致后续数据分析时变得麻烦，以往需要额外写一个中间程序来读取原始数据，转换加工后再写入到Elasticsearch，比较麻烦，于是官方推出了Ingest pipeline。Ingest pipeline 允许文档在被索引之前对数据进行预处理，将数据加工处理成我们需要的格式，例如删除或增加一些字段等。
Elasticsearch Ingest Pipeline
爱死亡机器人
03-09 779
需求：修复与增强写入的数据 Tags 字段中，逗号分割的文本应该是数组，而不是一个字符串 需求：后期需要对 Tags 进行 Aggregation 统计 Ingest Node Elasticsearch 5.0 后，引入的一种新的节点类型。默认配置下，每个节点都是 Ingest Node 具有预处理数据的能力，可拦截 Index 或者 Bulck API 的请求 对数据进行转换，并重新返回给 Index 和 Bluck API 无需 Logstash ，就可以进行数据的预处理，例如 为某个字段
ElasticSearch数据预处理
qq_44027353的博客
08-15 1303
Logstash也能对数据进行预处理操作，ingest node和Logstash最大的区别就是，ingest node是ES中的概念，只能从es的rest api请求中获取数据，并写入ES；可以对index或bulk api 请求进行拦截，对其中数据进行预处理转换，并重新返回index或bulk api。在搜索中使用painless script语句，一般不建议在搜索中使用painless script语句对字段值进行操作，这样降低了查询效率。请求参数，表示当前创建的文档需要进行预处理。
ElasticSearch-Ingest Pipeline & Painless Script
姜希成的博客
09-04 1049
脚本缓存：脚本编译的开销较大，Elasticsearch会将脚本编译后缓存在Cache 中。默认5分钟最多75次编译 (75/5m)应用场景： 修复与增强写入数据。内置的 Processors。
Elasticsearch 索引数据预处理
junxinsiwo的专栏
10-10 1032
Elasticsearch 的 Pipeline 功能主要用于处理索引文档的数据，即在文档被索引或查询时对其进行处理。Pipeline 可以帮助你实现数据的实时处理，而不需要修改原始数据源。这种功能对于需要对数据进行标准化、转换或增强的应用场景非常有用
【Elasticsearch开发】Ingest Pipelines
qq_44849679的博客
02-21 1011
管道是一系列处理器的定义，它们按照声明的顺序执行。description是一个特殊字段，用于存储有关管道所做工作的有用描述。processors参数定义了要按顺序执行的处理器列表。
OpenGL ES着色器语言之预处理（preprocessing）
飞鱼
07-16 2716
着色器的预处理过程是指在着色代码真正开始在内存中执行之前的整个过程。那么预处理过程包含哪些工作呢？ ----------------------------------------------------------------------------------------------------------------------------------------------- （1
Elasticsearch: Ingest pipelines学习
qq_39198749的博客
08-30 724
elasticsearch中的pipelines
Elasticsearch：Ingest Pipeline 实践
Elastic 中国社区官方博客
06-22 2373
相比较 Logstash 而言，由于其丰富的 processors 而受到越来越多人的喜欢。最重要的一个优点就是它基于 Elasticsearch 极具可拓展性和维护性而受到开发者的喜欢。我在之前创建了很多关于 Ingest Pipeline 的文章。你可以参阅文章 “Elastic：菜鸟上手指南” 中的 Ingest pipeline 章节。 在今天的文章中，我想同一个一个例子来展示两种创建 Ingest Pipeline 的方法尽管在我之前的文章中都有介绍： 通过 API 的方法来创建 通过 Ki
Elasticsearch：创建 Ingest pipeline
Elastic 中国社区官方博客
09-03 5708
在 Elasticsearch 针对数据进行分析之前，我们必须针对数据进行摄入。在摄入的过程中，我们需要对数据进行加工，这其中包括非结构化数据转换为结构化数据，数据的转换，丰富，删除，添加新的字段等等一系列的工作。针对目前 Elastic 公司所提供的工具来看，我们有两种方法来针对数据进行加工：Logstash 已经 Ingest pipeline。 这两种方法各有优缺点： Logstash： 是一种开源的 Elastic Stack ETL （Ext......
Elasticsearch：Ingest pipeline 介绍
Elastic 中国社区官方博客
08-10 3065
Ingest pipeline 可让你在索引之前对数据执行常见转换。例如，你可以使用 pipeline 删除字段、从文本中提取值并丰富你的数据。Pipeline 由一系列称为处理器（）的可配置任务组成。每个处理器按顺序运行，对传入文档进行特定更改。处理器运行后，Elasticsearch 会将转换后的文档添加到您的数据流或索引中。你可以使用 Kibana 的 Ingest Pipelines 功能或创建和管理摄取管道。Elasticsearch 以存储管道。...
dbeaver 数据转化 mapping_Elasticsearc ingest 数据预处理 + painless 脚本的使用 - jinnan88
weixin_39668890的博客
11-03 449
线上实战问题 11、知识点脚本的使用2、问题描述：你好，我想问一下，在 ES 里我想把两个字段的值是一样的查出来。但是其中一个字段是在一个字典里的，我该怎么写啊？"query":{ "bool":{ "must":{ "script":{ "script":{ "source":"doc['use...
使用 Ingest Pipeline 在 Elasticsearch 中对数据进行预处理
cr7258的博客
02-16 1497
Ingest pipeline 是 Elasticsearch 的一个非常实用的功能，它能够帮助用户在数据进入 Elasticsearch 索引之前对其进行预处理，从而提高搜索和分析的效率和准确性。
Elasticsearch：通过 ingest pipeline 对大型文档进行分块
Elastic 中国社区官方博客
02-08 4980
​ 在我之前的文章 “Elasticsearch：使用 LangChain 文档拆分器进行文档分块” 中，我详述了如何通过 LangChain 对大的文档进行分块。那个分块的动作是通过 LangChain 在 Python 中进行实现的。对于使用版权的开发者来说，我们实际上是可以通过 ingest pipeline 来完成这个操作的。
ES学习笔记(15)--用Proxy进行预处理
weixin_33802505的博客
10-17 324
钩子函数 在运行函数前初始化一些数据，在改变对象值后做一些善后处理。这些都算钩子函数，Proxy的存在就可以让我们给函数加上这样的钩子函数，你也可以理解为在执行方法前预处理一些代码。你可以简单的理解为他是函数或者对象的生命周期。 定义对象的方法 var obj = { add:function(va...
es Ingest Pipeline 详解
03-27
<think>好的，用户现在想了解Elasticsearch的Ingest Pipeline。之前他们问过数据一致性的问题，可能是在实际使用ES时遇到了数据处理的需求。现在需要深入理解Ingest Pipeline的功能和用法，可能是在数据摄入前需要进行预处理。 首先，我需要确定用户的使用场景。他们可能在将数据导入ES之前，需要对数据进行转换、丰富或清洗。比如，日志处理、字段提取、格式转换等。Ingest Pipeline正是用于这种场景，可以在数据索引之前处理文档。 接下来，用户可能的身份是开发人员或者运维人员，负责数据摄入流程。他们需要知道如何配置Pipeline，有哪些处理器可用，以及如何应用到索引中。此外，用户可能关心如何调试Pipeline，处理错误，以及性能优化。 用户的需求不仅仅是了解基本概念，而是详细的工作原理和使用方法，包括实际例子。需要覆盖核心概念、常见处理器、创建和管理Pipeline的步骤、错误处理、性能优化，以及实际应用场景。 需要确保回答结构清晰，分点说明，每个部分有示例，比如JSON配置或命令行操作。同时，要避免使用Markdown，用自然的中文口语化表达，但保持专业性。还要注意之前用户提到的格式要求，比如数学公式用$...$，但在这个问题中可能涉及较少，但如果有的话要正确应用。 另外，用户可能想知道Ingest Pipeline和Logstash的区别，是否需要结合使用，或者何时选择哪一种。这可能需要在最佳实践部分提到，帮助用户做出决策。 最后，确保回答准确，涵盖版本信息，比如ES 5.0+支持，避免用户在使用旧版本时遇到问题。检查是否有遗漏的重要功能，如条件判断、异常处理等，确保全面性。</think>以下是关于Elasticsearch Ingest Pipeline的完整技术解析，涵盖核心概念、工作原理、应用场景及最佳实践： --- ### 一、**基础概念** #### 1. **定义** - **数据预处理管道**：在文档被索引（_index）前执行的**数据加工流水线** - **非侵入式处理**：不修改原始数据源，仅影响ES存储的文档形态 - **版本要求**：ES 5.0+ 原生支持 #### 2. **核心优势** - **轻量化**：替代Logstash Filter的轻量级方案 - **实时性**：与索引操作同步执行 - **低延迟**：处理过程发生在协调节点，无需额外跳转 --- ### 二、**核心架构** ```mermaid flowchart TD A[原始文档] --> B{是否存在Pipeline?} B -->|是| C[执行Processor链] B -->|否| D[直接写入索引] C --> E[生成最终文档] E --> D ``` --- ### 三、**核心处理器（Processor）分类** #### 1. **字段操作类** - `set`：添加/覆盖字段 ```json { "set": { "field": "service_type", "value": "web_server" } } ``` - `remove`：删除字段 - `rename`：字段重命名 #### 2. **内容转换类** - `convert`：类型转换（字符串↔数值） - `gsub`：正则替换 ```json { "gsub": { "field": "error_msg", "pattern": "\\d+", "replacement": "[REDACTED]" } } ``` #### 3. **结构处理类** - `split`：字符串分割为数组 - `join`：数组合并为字符串 - `json`：解析JSON字符串为结构化对象 #### 4. **流程控制类** - `if`：条件判断执行 ```json { "if": { "condition": "ctx.status == '404'", "then": [ { "set": { "field": "is_error", "value": true }} ] } } ``` - `foreach`：数组元素遍历处理 #### 5. **高级功能类** - `geoip`：IP转地理位置 - `user_agent`：解析UA信息 - `pipeline`：嵌套子管道 --- ### 四、**完整配置示例** ```json PUT _ingest/pipeline/log_processing { "description": "Web日志处理流水线", "processors": [ { "json": { "field": "message", "target_field": "parsed_log" } }, { "remove": { "field": "message" } }, { "date": { "field": "parsed_log.timestamp", "target_field": "@timestamp", "formats": ["ISO8601"] } }, { "user_agent": { "field": "parsed_log.user_agent", "target_field": "device_info" } } ] } ``` --- ### 五、**应用场景** #### 1. **数据规范化** - 时间戳统一格式化 - 字段类型强制转换 #### 2. **数据增强** - 添加地理坐标（geoip） - 解析用户设备信息（user_agent） #### 3. **敏感数据处理** - 信用卡号脱敏 - PII信息过滤 #### 4. **结构优化** - 嵌套JSON展开 - 冗余字段删除 --- ### 六、**执行方式** #### 1. **索引时绑定** ```bash PUT my-index/_doc/1?pipeline=log_processing { "message": "{\"timestamp\":\"2023-07-20T08:00:00Z\",\"ip\":\"8.8.8.8\"}" } ``` #### 2. **索引默认管道** ```json PUT my-index/_settings { "index.default_pipeline": "log_processing" } ``` #### 3. **批量请求指定** ```json POST _bulk { "index" : { "_index" : "my-index", "pipeline" : "log_processing" }} { "message": "..." } ``` --- ### 七、**调试与验证** #### 1. **模拟测试API** ```bash POST _ingest/pipeline/log_processing/_simulate { "docs": [ { "_source": { "message": "{\"timestamp\":\"2023-07-20T08:00:00Z\",\"ip\":\"8.8.8.8\"}" } } ] } ``` #### 2. **错误处理机制** - `ignore_failure`：跳过处理器错误 ```json { "gsub": { "field": "credit_card", "pattern": "\\d{12}(\\d{4})", "replacement": "****-****-****-$1", "ignore_failure": true } } ``` - `on_failure`：自定义错误处理 ```json "on_failure": [ { "set": { "field": "error_message", "value": "{{ _ingest.on_failure_message }}" } } ] ``` --- ### 八、**性能优化建议** 1. **处理器顺序优化** - 先执行过滤操作（如`remove`），减少后续处理的数据量 - 高消耗处理器（如`geoip`）尽量靠后 2. **资源控制** ```yaml # elasticsearch.yml ingest.memory.max_in_flight: 100mb # 控制内存使用 ``` 3. **缓存利用** - `geoip`处理器自动缓存数据库文件 - `user_agent`正则表达式预编译 --- ### 九、**与Logstash对比** | 特性 | Ingest Pipeline | Logstash Filter | |---------------------|-------------------------|-----------------------| | 资源消耗 | 低（无独立进程） | 中等 | | 处理延迟 | 亚秒级 | 毫秒级 | | 功能复杂度 | 基础数据处理 | 支持复杂ETL | | 适用场景 | 简单实时预处理 | 复杂离线数据处理 | --- ### 十、**最佳实践** 1. **版本兼容性** - 生产环境统一ES版本（不同版本的处理器参数可能变化） 2. **监控指标** ```bash GET _nodes/stats/ingest # 重点关注：failed, time_in_millis ``` 3. **安全限制** - 禁用`script`处理器时： ```yaml ingest.pipeline.default_processors: [ "set", "remove" ] ``` --- ### 总结 Ingest Pipeline通过**处理器链式处理**实现数据预加工，核心价值在于： - **降低系统复杂性**：减少外部处理环节 - **提升处理时效性**：数据落地即完成标准化 - **灵活扩展能力**：200+内置处理器覆盖常见场景 建议将处理逻辑分解为多个小型管道，通过`pipeline`处理器实现模块化组合，同时配合完善的监控告警体系保障数据处理可靠性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值