Elasticsearch 8.1官网文档梳理 - 十一、Ingest pipelines（管道）

Ingest pipelines

管道（Ingest pipelines）可让让数据在写入前进行常见的转换。例如可以利用管道删除文档（doc）的字段、或从文本中提取数据、丰富文档（doc）的字段等其他操作。

管道（Ingest pipelines）由一系列处理器（processors）组成，每个处理器都是一个可配置的任务。在管道（Ingest pipelines）中每个处理器（processors）按顺序运行，对接收到的文档（doc）进行特定更改。处理器（processors）运行后，Elasticsearch 会将转换后的文档（doc）添加到数据流（data stream）或索引（index）中。

一、Example: Parse logs

举例通过一个 pipline 来清理一份日志数据

二、Enrich your data

可以使用 enrich 处理器在管道中将现有索引中的数据添加到传入文档中。

2.1 Set up an enrich processor

这里描述了如何创建一个 enrich processor，里面提供了从创建到修改的 API 链接地址。

2.2 Example: Enrich your data based on geolocation

例子

2.3 Example: Enrich your data based on exact values

例子

2.4 Example: Enrich your data by matching a value to a range

例子

三、Processor reference

这里罗列了一些可以用的 处理器

3.1 Append

3.2 Bytes

3.3 Circle

3.4 Community ID

3.5 Convert

3.6 CSV

3.7 Date

3.8 Date index name

3.9 Dissect

3.10 Dot expander

3.11 Drop

3.12 Enrich

引入另外索引的数据到管道内的文档中

3.13 Fail

3.14 Fingerprint

3.15 Foreach

对数组或对象的每个元素运行管道的处理器。

3.16 GeoIP

3.17 Grok

3.18 Gsub

3.19 HTML strip

3.20 Inference

3.21 Join

3.22 JSON

3.23 KV

3.24 Lowercase

3.25 Network direction

3.26 Pipeline

3.27 Registered domain

3.28 Remove

删除现有字段。

3.29 Rename

重命名现有字段。如果字段不存在或新名称已被使用，则会出现异常。

3.30 Script

脚本

3.31 Set

设置一个字段并指定字段的值。如果字段已经存在，则替换字段的值。

3.32 Set security user

将当前已经验证的 用户 的详细信息写入到文档。

3.33 Sort

3.34 Split

分割

3.35 Trim

去除字符串首尾的空白字符

3.36 Uppercase

字符串大写

3.37 URL decode

3.38 URI parts

3.39 User agent