流集数据收集器管道概念和设计：删除不需要的记录

删除不需要的记录

您可以通过定义进入阶段的记录的必填字段或前提条件，在每个阶段从管道中删除记录。

必填项

必填字段是必须存在于记录中的字段，以允许其进入处理阶段。当记录不包括所有必填字段时，将根据为管道配置的错误处理对其进行处理。您可以为任何处理器、执行程序和大多数目标阶段定义必填字段。

将必填字段配置为整个管道逻辑的一部分，或最大程度地减少处理错误。例如，如果字段哈希在 /SSN 字段中对社会保险数据进行编码。若要确保所有记录都包含社会安全号码，可以将 /SSN 设置为阶段的必填字段。

前提 条件

前提条件是记录进入处理阶段必须满足的条件。阶段在将记录传递到阶段或错误处理之前处理所有前提条件。当记录不满足所有已配置的前提条件时，将根据为该阶段配置的错误处理对其进行处理。

您可以为任何处理器、执行程序和大多数目标阶段定义前提条件。可以在前提条件中使用大多数函数、管道常量和运行时属性。

将前提条件配置为整个管道逻辑的一部分，或最大程度地减少处理错误。例如，可以使用以下表达式排除源自美国境外的记录：

<span style="color:#333333"><span style="background-color:#eeeeee"><code> ${record:value('/COUNTRY') == 'US'}</code></span></span>

错误记录包括有关错误消息记录标头属性中失败的前提条件的信息。在管道运行时，在监视器模式下查看最近的错误记录时，还可以查看错误消息。