流集数据收集器管道概念和设计：错误记录处理

错误记录处理

可以在阶段级别和管道级别配置错误记录处理。您还可以指定要用作错误记录基础的记录版本。

当阶段处理记录时发生错误时，数据收集器将根据阶段配置处理该记录。其中一个阶段选项是将记录传递到管道以进行错误处理。对于此选项，数据收集器将根据管道错误记录处理配置处理记录。

配置管道时，请注意，阶段错误处理优先于管道错误处理。也就是说，管道可能配置为将错误记录写入文件，但如果将阶段配置为丢弃错误记录，则会丢弃这些记录。您可以使用此功能来减少保存以供查看和重新处理的错误记录的类型。

请注意，缺少必填字段的记录不会进入阶段。它们直接传递到管道以进行错误处理。

管道错误记录处理

管道错误记录处理确定数据收集器如何处理阶段发送到管道以进行错误处理的错误记录。它还处理故意从管道中删除的记录，例如没有必填字段的记录。

管道根据“错误记录”选项卡上的“错误记录”属性处理错误记录。当数据收集器遇到意外错误时，它会停止管道并记录错误。

管道提供以下错误记录处理选项：

丢弃

管道将丢弃该记录。数据收集器包括错误记录计数和指标中的记录。

将响应发送到源

管道将错误记录传递回微服务源，以包含在对原始 REST API 客户端的响应中。数据收集器包括错误记录计数和指标中的记录。仅在微服务管道中使用。

在数据收集器边缘管道中无效。

写入另一个管道

管道将错误记录写入 SDC RPC 管道。数据收集器包括错误记录计数和指标中的记录。

写入另一个管道时，数据收集器会有效地创建一个 SDC RPC 源管道，以将错误记录传递到另一个管道。

需要创建 SDC RPC 目标管道来处理错误记录。管道必须包含配置为从此管道读取错误记录的 SDC RPC 源。

有关 SDC RPC 管道的详细信息，请参阅 SDC RPC 管道概述。

在数据收集器边缘管道中无效。

写入 Azure 事件中心

管道将错误记录和相关详细信息写入 Azure 事件中心。数据收集器包括错误记录计数和指标中的记录。

定义要使用的 Azure 事件中心的配置属性。

在数据收集器边缘管道中无效。

写入弹性搜索

管道将错误记录和相关详细信息写入弹性搜索。数据收集器包括错误记录计数和指标中的记录。

您可以定义要使用的弹性搜索集群的配置属性。

在数据收集器边缘管道中无效。

写入文件

管道将错误记录和相关详细信息写入本地目录。数据收集器包括错误记录计数和指标中的记录。

定义要使用的目录和最大文件大小。错误文件是根据“文件前缀”管道属性命名的。

目前，群集管道不支持写入文件。

写入谷歌云存储

该管道将错误记录和相关详细信息写入 Google 云存储。数据收集器包括错误记录计数和指标中的记录。

您可以定义谷歌云存储配置属性。

在数据收集器边缘管道中无效。

写信给谷歌子/酒吧

管道将错误记录和相关详细信息写入 Google 子/Pub.数据收集器包括错误记录计数和指标中的记录。

您可以定义谷歌子/发布配置属性。

在数据收集器边缘管道中无效。

写信给卡夫卡

管道将错误记录和相关详细信息写入 Kafka。数据收集器包括错误记录计数和指标中的记录。

定义要使用的 Kafka 群集的配置属性。

在数据收集器边缘管道中无效。

写给运动

该管道将错误记录和相关详细信息写入 Amazon Kinesis 流。数据收集器包括错误记录计数和指标中的记录。

您可以定义要使用的 Kinesis 流的配置属性。

在数据收集器边缘管道中无效。

写入映射图像流

管道将错误记录和相关详细信息写入 MapR 流。数据收集器包括错误记录计数和指标中的记录。

定义要使用的 MapR 流群集的配置属性。

在数据收集器边缘管道中无效。

写入磁共振成像

管道将错误记录和相关详细信息写入 MQTT 代理。数据收集器包括错误记录计数和指标中的记录。

您可以定义要使用的 MQTT 代理的配置属性。

阶段错误记录处理

大多数阶段都包含错误记录处理选项。如果在处理记录时发生错误，数据收集器将根据舞台的“常规”选项卡上的“记录时错误”属性处理记录。

阶段包括以下错误处理选项：

丢弃

舞台静默地丢弃记录。数据收集器不会记录有关错误的信息，也不会记录遇到错误的特定记录。丢弃的记录不包括在监视模式错误记录计数或指标中。

发送到错误

该阶段将记录发送到管道以进行错误处理。管道根据管道错误处理配置处理记录。

监视管道时，可以在阶段的“错误记录”选项卡上查看最新的错误记录及其遇到的问题。停止管道后，此信息将不可用。

停止管道

数据收集器停止管道并记录有关错误的信息。停止管道的错误在监视模式下显示为警报，在管道历史记录中显示为错误。

目前，群集模式管道不支持停止管道。

例

Kafka 使用者源阶段读取最大对象长度为 4096 个字符的 JSON 数据，并且该阶段遇到具有 5000 个字符的对象。根据阶段配置，数据收集器将丢弃记录、停止管道或将记录传递到管道以进行错误记录处理。

将阶段配置为将记录发送到管道时，根据配置管道错误处理的方式，将发生以下情况之一：

• 当管道丢弃错误记录时，数据收集器将丢弃该记录，而不记录操作或原因。

  监视管道时，可以在阶段的“错误记录”选项卡上查看最新的错误记录集和有关错误的信息。但是，在停止管道后，此信息将不可用。

• 当管道将错误记录写入目标时，数据收集器会将错误记录和其他错误信息写入目标。它还包括监视器计数和指标中的错误记录。

错误记录和版本

当数据收集器创建错误记录时，它会保留触发错误的记录中的数据和属性，然后将与错误相关的信息添加为记录头属性。有关错误标头属性以及与记录关联的其他内部标头属性的列表，请参阅内部属性。

配置管道时，可以指定要使用的记录版本：

• 原始记录 - 最初由原点生成的记录。当您希望原始记录不进行任何其他管道处理时，请使用此记录。
• 当前记录 - 生成错误的阶段中的记录。根据所发生的错误的类型，此记录可以由错误生成阶段取消处理或部分处理。

  如果要保留管道在记录导致错误之前完成的任何处理，请使用此记录。