使用 Apache Kafka 和 Camel 应用程序的数据流

Apache Kafka 是一个事件流平台，由 LinkedIn 开发，后来在 Apache 软件基金会下开源。其主要功能是处理大量实时数据流，并为创建数据管道、流应用程序和微服务提供可扩展且容错的架构。

Kafka采用发布-订阅消息传递模型，其中数据被分类为主题，发布者将消息发送到这些主题。然后订阅者可以实时接收这些消息。该平台通过跨多个节点传播数据并跨多个代理复制数据，提供了可扩展且容错的架构。这保证了即使节点发生故障，数据也始终可用。

Kafka 的架构基于几个基本组件，包括代理、生产者、消费者和主题。代理管理消息队列并处理消息持久化，而生产者和消费者分别负责发布和订阅 Kafka 主题。主题充当发送和接收消息的通信渠道。

最新的 DZone 参考卡

MQTT 要点

Kafka 还提供广泛的 API 和工具来管理数据流和构建实时应用程序。Kafka Connect 是其最受欢迎的工具和 API 之一，可以创建与其他系统集成的数据管道。另一方面，Kafka Streams 允许开发人员使用高级 API 构建流应用程序。

总之，Kafka 是一个强大且适应性强的平台，可用于构建实时数据管道和流应用程序。它已广泛应用于各个领域，包括金融、医疗保健、电子商务等。

要使用Camel创建 Kafka 数据流，您可以使用 Camel-Kafka 组件，该组件已包含在 Apache Camel 中。以下是使用 Camel 创建 Kafka 数据流的步骤：

准备 Kafka Broker 并为数据流创建主题。
在 IDE 上设置一个新的 Camel 项目，并包含所需的 Camel 依赖项，包括 Camel-Kafka 组件。
在您的项目中创建一个新的 Camel 路由来定义数据流。该路由应使用 Kafka 组件并指定应发送或接收数据的主题。
为数据流选择适当的数据格式。例如，如果要发送 JSON 数据，请使用 Jackson 数据格式来序列化和反序列化数据。
启动Camel上下文和Kafka生产者或消费者以开始发送或接收数据。
总体而言，将 Camel-Kafka 组件与 Apache Camel 结合使用是在应用程序和 Kafka 集群之间创建数据流的简单方法。

卡夫卡集群以下是读取表形式数据库并写入 Kafka 集群的代码：Apache Camel Producer Application：

import org.apache.camel.builder.RouteBuilder;
import org.apache.camel.component.kafka.KafkaConstants;
import org.springframework.stereotype.Component;

@Component
public class OracleDBToKafkaRouteBuilder extends RouteBuilder {

@Override
public void configure() throws Exception {

// Configure Oracle DB endpoint
String oracleDBEndpoint = "jdbc:oracle:thin:@localhost:1521:orcl";
String oracleDBUser = "username";
String oracleDBPassword = "password";
String oracleDBTable = "mytable";
String selectQuery = "SELECT * FROM " + oracleDBTable;

// Configure Kafka endpoint
String kafkaEndpoint = "kafka:my-topic?brokers=localhost:9092";
String kafkaSerializer = "org.apache.kafka.common.serialization.StringSerializer";

from("timer:oracleDBPoller?period=5000")

// Read from Oracle DB
.to("jdbc:" + oracleDBEndpoint + "?user=" + oracleDBUser + "&password=" + oracleDBPassword)
.setBody(simple(selectQuery))
.split(body())

// Serialize to Kafka
.setHeader(KafkaConstants.KEY, simple("${body.id}"))
.marshal().string(kafkaSerializer)
.to(kafkaEndpoint);
}
}

以下是读取 Kafka Topic 并写入 Oracle DB 表的代码：Apache Camel Camel Application；

import org.apache.camel.builder.RouteBuilder;
import org.apache.camel.component.kafka.KafkaConstants;
import org.springframework.stereotype.Component;

@Component
public class KafkaToOracleDBRouteBuilder extends RouteBuilder {

@Override
public void configure() throws Exception {

// Configure Kafka endpoint
String kafkaEndpoint = "kafka:my-topic?brokers=localhost:9092";
String kafkaDeserializer = "org.apache.kafka.common.serialization.StringDeserializer";

// Configure Oracle DB endpoint
String oracleDBEndpoint = "jdbc:oracle:thin:@localhost:1521:orcl";
String oracleDBUser = "username";
String oracleDBPassword = "password";
String oracleDBTable = "mytable";

from(kafkaEndpoint)

// Deserialize from Kafka
.unmarshal().string(kafkaDeserializer)
.split(body().tokenize("\n"))

// Write to Oracle DB
.to("jdbc:" + oracleDBEndpoint + "?user=" + oracleDBUser + "&password=" + oracleDBPassword)
.setBody(simple("INSERT INTO " + oracleDBTable + " VALUES(${body})"))
.to("jdbc:" + oracleDBEndpoint + "?user=" + oracleDBUser + "&password=" + oracleDBPassword);
}
}