SDC RPC到Kafka

JAVASoftEngineer

已于 2022-10-18 13:55:40 修改

阅读量301

点赞数 1

分类专栏： Kafka 大数据文章标签： kafka 大数据

于 2022-09-30 00:38:09 首次发布

本文链接：https://blog.csdn.net/cao1234js/article/details/127116338

版权

SDC RPC 到卡夫卡（已弃用）

从一个或多个 SDC RPC 目标读取数据，并将其立即写入卡夫卡。在 SDC RPC 目标管道中使用 SDC RPC 到卡夫卡源。但是，到 Kafka 源的 SDC RPC 现已弃用，并将在将来的版本中被删除。我们建议使用 SDC RPC 源。

如果有多个 SDC RPC 源管道，其中包含要写入卡夫卡而无需额外处理的数据，请使用 SDC RPC 到卡夫卡源。

与 SDC RPC 源一样，从 SDC RPC 到卡夫卡源从另一个管道中的 SDC RPC 目标读取数据。但是，到卡夫卡源的 SDC RPC 经过优化，可将数据从多个管道直接写入卡夫卡。使用此源时，无法在写入 Kafka 之前执行其他处理。

以下是使用 SDC RPC 到卡夫卡源的推荐体系结构示例：

将 SDC RPC 配置为 Kafka 源时，可以定义源侦听数据的端口、SDC RPC ID、最大并发请求数和最大批量请求大小。您还可以配置 SSL/TLS 属性，包括默认传输协议和密码套件。

您还需要为 Kafka 配置连接信息，包括代理 URI、要写入的主题以及最大消息大小。您可以根据需要添加卡夫卡配置属性并启用卡夫卡安全性。

管道配置

在管道中使用 SDC RPC 到 Kafka 源时，请将源连接到废纸篓目标。

将 SDC RPC 写入卡夫卡源，将记录直接写入卡夫卡。源不会将记录传递到其输出端口，因此您无法执行其他处理或将数据写入其他目标系统。

但是，由于管道需要目标，因此应将原点连接到废纸篓目标以满足管道验证要求。

将 SDC RPC 连接到卡夫卡源的管道应如下所示：

并发请求

您可以指定 SDC RPC 对 Kafka 源一次处理的最大请求数。

当源管道中的 SDC RPC 目标想要将一批数据传递到源时，它会向 Kafka 源的 SDC RPC 发送请求。如果有一个源管道将数据传递到 SDC RPC 再到 Kafka 源，则可以将最大并发请求数设置为 1，因为目标一次处理一批数据。

通常，您将有多个管道将数据传递到此源。在这种情况下，应评估源管道的数量、管道的预期输出以及 Data Collector 计算机的资源，然后根据需要调整属性以提高管道性能。

例如，如果有 100 个源管道将数据传递到 SDC RPC 到 Kafka 源，但管道生成数据的速度很慢，则可以将最大值设置为 20，以防止这些管道在卷峰值期间使用过多的数据收集器资源。或者，如果数据收集器没有资源问题，并且您希望它尽快处理数据，则可以将最大值设置为 90 或 100。请注意，SDC RPC 目标还具有用于重试和回退周期的高级属性，可用于帮助调整性能。