HTTP到Kafka

HTTP 到卡夫卡（已弃用）

HTTP 到卡夫卡源在 HTTP 端点上侦听，并将所有授权的 HTTP POST 请求的内容直接写入卡夫卡。但是，Kafka 源的 HTTP 现已弃用，并将在将来的版本中被删除。我们建议使用可以使用多个线程的 HTTP 服务器源，以启用来自多个 HTTP 客户端的数据的并行处理。

使用 HTTP 到卡夫卡源立即将大量 HTTP POST 请求写入卡夫卡，而无需进行其他处理。若要执行处理，可以使用从 Kafka 主题读取的 Kafka 使用者源创建单独的管道。

如果需要在将数据写入 Kafka 之前处理数据，或者需要写入 Kafka 以外的目标系统，请使用 HTTP 服务器源。

您可以配置多个 HTTP 客户端，将数据发送到卡夫卡源。只需在配置源之前完成必要的先决条件即可。以下是使用 HTTP 到卡夫卡源的体系结构示例：

将 HTTP 配置为 Kafka 时，请指定侦听端口、Kafka 配置信息、最大消息大小和应用程序 ID。

您可以根据需要添加卡夫卡配置属性并启用卡夫卡安全性。

提示：数据收集器提供了多个 HTTP 源来满足不同的需求。有关帮助您选择正确图表的快速比较图表，请参阅比较 HTTP 源。

先决条件

在运行带有 HTTP 到 Kafka 源的管道之前，请配置以下先决条件：

配置 HTTP 客户端以将数据发送到卡夫卡侦听端口

配置源时，定义源侦听数据的侦听端口号。

若要将数据传递到管道，请将每个 HTTP 客户端配置为将数据发送到包含侦听端口号的 URL。

对 URL 使用以下格式：

<span style="color:#333333"><span style="background-color:#eeeeee"><code><http | https>://<sdc_hostname>:<listening_port>/</code></span></span>

该 URL 包括以下组件：

• <|https> - 将 https 用于安全的 HTTP 连接。
• <sdc_hostname> - 数据收集器主机名。
• <listening_port> - 源侦听数据的端口号。

例如：https://localhost:8000/

在请求标头中包含应用程序 ID

配置源时，需要定义应用程序 ID。发送到 KAfka 源的 HTTP 的所有消息都必须在请求标头中包含应用程序 ID。

将以下信息添加到您希望源处理的所有 HTTP POST 请求的请求标头中：

<span style="color:#333333"><span style="background-color:#eeeeee"><code>X-SDC-APPLICATION-ID: <applicationID></code></span></span>

例如：

<span style="color:#333333"><span style="background-color:#eeeeee"><code>X-SDC-APPLICATION-ID: sdc_http2kafka</code></span></span>

管道配置

在管道中使用 HTTP 到 Kafka 源时，请将源连接到废纸篓目标。

卡夫卡源的 HTTP 将记录直接写入卡夫卡。源不会将记录传递到其输出端口，因此您无法执行其他处理或将数据写入其他目标系统。

但是，由于管道需要目标，因此应将原点连接到废纸篓目标以满足管道验证要求。

具有 HTTP 到卡夫卡源的管道应如下所示：

卡夫卡最大邮件大小

在源中配置与等效的 Kafka 群集属性相关的 Kafka 最大消息大小。源属性应等于或小于 Kafka 群集属性。

HTTP 到卡夫卡源将每个 HTTP POST 请求的内容作为单个消息写入卡夫卡。因此，在源中配置的最大消息大小决定了 HTTP 请求的最大大小，并限制了写入 Kafka 的消息的大小。

若要确保所有消息都写入 Kafka，请将源属性设置为等于或小于 Kafka 群集属性。尝试写入大于指定 Kafka 群集属性的消息将失败，并向原始 HTTP 客户端返回 HTTP 500 错误。

例如，如果 Kafka 集群允许的最大消息大小为 2 MB，请将源中的“最大消息大小”属性配置为 2 MB 或更小，以避免较大消息出现 HTTP 500 错误。

默认情况下，Kafka 群集中的最大消息大小为 1 MB，由消息.max.bytes 属性定义。

启用卡夫卡安全

您可以将 HTTP 配置为卡夫卡源，以便通过 SSL/TLS 和/或 Kerberos 安全地连接到卡夫卡。

启用 SSL/红绿灯系统

执行以下步骤，使 HTTP 转卡源能够使用 SSL/TLS 连接到卡夫卡。

1. 要使用 SSL/TLS 进行连接，请首先确保按照卡夫卡文档中所述，将卡夫卡配置为使用 SSL/TLS。
2. 在舞台的“常规”选项卡上，将“舞台库”属性设置为相应的“卡夫卡”版本。
3. 在“卡夫卡”选项卡上，添加“卡夫卡”配置属性并将其设置为 SSL。