UDP到Kafka

UDP 到卡夫卡（已弃用）

UDP 到卡夫卡源从一个或多个 UDP 端口读取消息，并将每条消息直接写入卡夫卡。但是，到 Kafka 源的 UDP 现已弃用，并将在将来的版本中删除。我们建议使用可以使用多个线程的 UDP 多线程源源，以启用来自多个 UDP 端口的数据的并行处理。

使用 UDP 到卡夫卡源从多个 UDP 端口读取大量数据，并立即将数据写入卡夫卡，无需额外处理。

以下是使用 UDP 到卡夫卡源的推荐体系结构示例：

如果需要在将数据写入 Kafka 之前对其进行处理，需要写入 Kafka 以外的目标系统，或者源不需要处理大量数据，请使用 UDP 源源源。

UDP 到卡夫卡可以处理收集到的消息、网络流 5 和网络流 9 消息以及以下类型的系统日志消息：

• 目录 5424
• 目录 3164
• 非标准常见消息，例如没有版本数字的 RFC 3339 日期

处理网络流消息时，该阶段会根据网络流版本生成不同的记录。处理网络流 9 时，将根据网络流 9 配置属性生成记录。有关详细信息，请参阅 NetFlow 数据处理。

将 UDP 配置为卡夫卡时，可以指定要使用的 UDP 端口、卡夫卡配置信息和高级属性，如最大写入请求数。

您可以根据需要添加卡夫卡配置属性并启用卡夫卡安全性。

管道配置

在管线中使用 UDP 到 Kafka 原点时，请将该原点连接到废纸篓目标。

UDP 到卡夫卡源将记录直接写入卡夫卡。源不会将记录传递到其输出端口，因此您无法执行其他处理或将数据写入其他目标系统。

但是，由于管道需要目标，因此应将原点连接到废纸篓目标以满足管道验证要求。

具有 UDP 到卡夫卡源的管道应如下所示：

其他卡夫卡属性

您可以将自定义卡夫卡配置属性添加到 UDP 到卡夫卡源。

添加 Kafka 配置属性时，请输入确切的属性名称和值。该阶段不验证属性名称或值。

默认情况下定义了多个属性，您可以根据需要编辑或删除这些属性。

注意：由于舞台使用多个配置属性，因此它会忽略以下属性的用户定义值：

• 密钥序列化程序.class
• 元数据.代理列表
• 分区程序.class
• 生产者类型
• 序列化程序.class

启用卡夫卡安全

您可以将 UDP 配置为卡夫卡源，以便通过 SSL/TLS 和/或 Kerberos 安全地连接到卡夫卡。

启用 SSL/红绿灯系统

执行以下步骤，使 UDP 到卡夫卡源站能够使用 SSL/TLS 连接到卡夫卡。

1. 要使用 SSL/TLS 进行连接，请首先确保按照卡夫卡文档中所述，将卡夫卡配置为使用 SSL/TLS。
2. 在舞台的“常规”选项卡上，将“舞台库”属性设置为相应的“卡夫卡”版本。
3. 在“卡夫卡”选项卡上，添加“卡夫卡”配置属性并将其设置为 SSL。
4. 然后添加并配置以下 SSL 卡夫卡属性：
   • 信任库位置
   • 信任库
   当 Kafka 代理需要客户端身份验证时 - 当 ssl.client.auth 代理属性设置为“必需”时 ， 添加并配置以下属性：

   • 位置
   • 密码
   • .key密码
   某些代理可能还需要添加以下属性：

   • ssl.enabled.协议
   • <