SDC RPC 到卡夫卡(已弃用)
从一个或多个 SDC RPC 目标读取数据,并将其立即写入卡夫卡。在 SDC RPC 目标管道中使用 SDC RPC 到卡夫卡源。但是,到 Kafka 源的 SDC RPC 现已弃用,并将在将来的版本中被删除。我们建议使用 SDC RPC 源。
如果有多个 SDC RPC 源管道,其中包含要写入卡夫卡而无需额外处理的数据,请使用 SDC RPC 到卡夫卡源。
与 SDC RPC 源一样,从 SDC RPC 到卡夫卡源从另一个管道中的 SDC RPC 目标读取数据。但是,到卡夫卡源的 SDC RPC 经过优化,可将数据从多个管道直接写入卡夫卡。使用此源时,无法在写入 Kafka 之前执行其他处理。
以下是使用 SDC RPC 到卡夫卡源的推荐体系结构示例:
将 SDC RPC 配置为 Kafka 源时,可以定义源侦听数据的端口、SDC RPC ID、最大并发请求数和最大批量请求大小。您还可以配置 SSL/TLS 属性,包括默认传输协议和密码套件。
您还需要为 Kafka 配置连接信息,包括代理 URI、要写入的主题以及最大消息大小。您可以根据需要添加卡夫卡配置属性并启用卡夫卡安全性。
管道配置
在管道中使用 SDC RPC 到 Kafka 源时,请将源连接到废纸篓目标。
将 SDC RPC 写入卡夫卡源,将记录直接写入卡夫卡。源不会将记录传递到其输出端口,因此您无法执行其他处理或将数据写入其他目标系统。
但是,由于管道需要目标,因此应将原点连接到废纸篓目标以满足管道验证要求。
将 SDC RPC 连接到卡夫卡源的管道应如下所示:
并发请求
您可以指定 SDC RPC 对 Kafka 源一次处理的最大请求数。
当源管道中的 SDC RPC 目标想要将一批数据传递到源时,它会向 Kafka 源的 SDC RPC 发送请求。如果有一个源管道将数据传递到 SDC RPC 再到 Kafka 源,则可以将最大并发请求数设置为 1,因为目标一次处理一批数据。
通常,您将有多个管道将数据传递到此源。在这种情况下,应评估源管道的数量、管道的预期输出以及 Data Collector 计算机的资源,然后根据需要调整属性以提高管道性能。
例如,如果有 100 个源管道将数据传递到 SDC RPC 到 Kafka 源,但管道生成数据的速度很慢,则可以将最大值设置为 20,以防止这些管道在卷峰值期间使用过多的数据收集器资源。或者,如果数据收集器没有资源问题,并且您希望它尽快处理数据,则可以将最大值设置为 90 或 100。请注意,SDC RPC 目标还具有用于重试和回退周期的高级属性,可用于帮助调整性能。
批请求大小、卡夫卡消息大小和卡夫卡配置
将 SDC RPC 配置为彼此相关的卡夫卡最大批处理请求大小和卡夫卡消息大小属性,以及卡夫卡中配置的最大消息大小。
“最大批处理请求大小 (MB)”属性确定源从每个 SDC RPC 目标接受的数据批的最大大小。收到一批数据后,源会立即将数据写入 Kafka。
为了提升峰值性能,源将尽可能多的记录写入单个 Kafka 消息。“Kafka 最大消息大小 (KB)”属性确定它所创建的消息的最大大小。
例如,假设源使用默认的 100 MB 作为最大批处理请求大小,默认的 900 KB 作为最大消息大小,Kafka 对消息.max.bytes 使用默认值 1 MB。
当源请求一批数据时,它一次最多接收 100 MB 的数据。当源写入 Kafka 时,它会将记录分组为尽可能少的消息,包括每条消息中最多 900 KB 的记录。由于消息大小小于 Kafka 1 MB 的要求,因此源已成功将所有消息写入 Kafka。
如果记录大于 900 KB 的最大消息大小,则源将生成错误,并且不会将记录(或包含该记录的批处理)写入 Kafka。为批处理提供超大记录的 SDC RPC 目标根据阶段错误记录处理来处理批处理。
其他卡夫卡属性
您可以将自定义卡夫卡配置属性添加到 SDC RPC 到卡夫卡源。
添加 Kafka 配置属性时,请输入确切的属性名称和值。该阶段不验证属性名称或值。
默认情况下定义了多个属性,您可以根据需要编辑或删除这些属性。
- 密钥序列化程序.class
- 元数据.代理列表
- 分区程序.class
- 生产者类型
- 序列化程序.class
启用卡夫卡安全
您可以将 SDC RPC 配置为卡夫卡源,以便通过 SSL/TLS 和/或 Kerberos 安全地连接到卡夫卡。
启用 SSL/红绿灯系统
执行以下步骤,使 SDC RPC 到卡夫卡源使用 SSL/TLS 连接到卡夫卡。
- 要使用 SSL/TLS 进行连接,请首先确保按照卡夫卡文档中所述,将卡夫卡配置为使用 SSL/TLS。
- 在舞台的“常规”选项卡上,将“舞台库”属性设置为相应的“卡夫卡”版本。
- 在“卡夫卡”选项卡上,添加“