“router_key“:“name“,“prod_type“:23,“branch“:“vere“,“even_type“:“CERT“,“ccy“:“CNY“,“profi发送数据到kafka

qq_33192454

于 2024-09-05 19:53:28 发布

阅读量920

点赞数 21

文章标签： kafka linq 分布式

本文链接：https://blog.csdn.net/qq_33192454/article/details/141939314

版权

"router_key":"name", "prod_type":23, "branch":"vere", "even_type":"CERT", "ccy":"CNY", "profit":"B", "cercore":"TT" }用java给kafka的任务发送报文消息，这个作为请求报文发送个ip地址和端口的方法把这个报文传进去然后方法接受这个请求报文的信息然后给kafka发送数据怎么实现

要将一个请求报文发送到 Kafka，可以通过 Java 使用 Kafka 客户端库来实现。以下是实现步骤的概述：

设置 Kafka 生产者配置：你需要指定 Kafka 服务器的地址、序列化器等配置。
创建 Kafka 生产者：使用配置初始化一个 Kafka 生产者实例。
构建消息：将你的请求报文构建成一个 Kafka 消息。
发送消息到 Kafka：使用 Kafka 生产者将消息发送到指定的 Kafka 主题。

以下是一个简单的 Java 代码示例，演示了如何将请求报文发送到 Kafka：

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.common.serialization.StringSerializer;

import java.util.Properties;

public class KafkaSender {

    private KafkaProducer<String, String> producer;
    private String topic;

    public KafkaSender(String bootstrapServers, String topic) {
        Properties props = new Properties();
        props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, bootstrapServers);
        props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
        props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());

        producer = new KafkaProducer<>(props);
        this.topic = topic;
    }

    public void sendMessage(String key, String message) {
        ProducerRecord<String, String> record = new ProducerRecord<>(topic, key, message);
        producer.send(record, (metadata, exception) -> {
            if (exception != null) {
                exception.printStackTrace();
            } else {
                System.out.println("Message sent to topic " + metadata.topic() + " partition " + metadata.partition() + " offset " + metadata.offset());
            }
        });
    }

    public void close() {
        producer.close();
    }

    public static void main(String[] args) {
        // Kafka 集群的地址和要发送消息的主题
        String bootstrapServers = "localhost:9092";
        String topic = "your_topic";

        // 创建 KafkaSender 实例
        KafkaSender sender = new KafkaSender(bootstrapServers, topic);

        // 请求报文
        String message = "{ \"router_key\":\"name\", \"prod_type\":23, \"branch\":\"vere\", \"even_type\":\"CERT\", \"ccy\":\"CNY\", \"profit\":\"B\", \"cercore\":\"TT\" }";

        // 发送消息
        sender.sendMessage("key1", message);

        // 关闭生产者
        sender.close();
    }
}

代码说明

配置 Kafka 生产者：
- ProducerConfig.BOOTSTRAP_SERVERS_CONFIG：Kafka 服务器的地址。
- ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG 和 ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG：指定键和值的序列化器，这里使用 StringSerializer。
创建 Kafka 生产者实例：
- 使用 KafkaProducer 类初始化 Kafka 生产者。
构建并发送消息：
- ProducerRecord 用于构建消息记录。
- producer.send 方法用于将消息发送到 Kafka，并可附加回调函数来处理发送结果。
关闭生产者：
- 使用 producer.close() 关闭 Kafka 生产者实例。

请确保你已经在项目中添加了 Kafka 客户端库的依赖。如果你使用的是 Maven，你可以在 pom.xml 中添加以下依赖：

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>3.4.0</version>
</dependency>

根据需要，你可以调整 Kafka 的配置和消息的构建方式。

上面的是不是需要启动一个服务

上面的示例代码本身并不需要启动一个服务，它是一个简单的 Kafka 生产者客户端程序。你只需确保 Kafka 服务器（Kafka broker）正在运行，并且可以接受来自客户端的连接。

运行步骤：

启动 Kafka 服务器：确保你已经启动了 Kafka 服务器。如果你没有 Kafka 服务器，你可以从 Kafka 官方网站下载并启动它。通常，你需要先启动 Zookeeper，然后启动 Kafka 服务器。

示例启动 Kafka 服务器的命令：
```
# 启动 Zookeeper
bin/zookeeper-server-start.sh config/zookeeper.properties

# 启动 Kafka 服务器
bin/kafka-server-start.sh config/server.properties
```
创建 Kafka 主题：在 Kafka 中发送消息之前，你需要创建一个主题（topic）。可以使用 Kafka 提供的命令行工具创建一个主题。例如：
bash
```
bin/kafka-topics.sh --create --topic your_topic --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1
```
运行 Java 代码：确保你的 Java 环境配置正确，Kafka 客户端库已添加到项目中，然后运行上面的 KafkaSender 类。这个类会将消息发送到你指定的 Kafka 主题。

如果你希望将 Kafka 生产者代码作为一个服务来运行，你可以考虑以下选项：

使用 Java Web 服务：可以将生产者代码放入一个 Web 应用程序中，通过 RESTful API 接受请求并发送消息到 Kafka。
使用消息队列：你也可以将 Kafka 生产者代码放在一个后台任务或守护进程中，定期从消息队列中读取消息并发送到 Kafka。

这些方式都可以根据实际需求选择。

producer=KafkaProducer(bootstra_servers=['10.1.1.1:9000,'4.4.4.4:8888'],
		security_protocol='SASL_PLAINTEXT',
		value_serializer=lambda v：json.dumps(v).encode('utf-8')
		sasl_mechanism='SCRAM-SHA-256',
		sasl_kerberos_service_name='target'
		sasl_plain_username="ee”。
		sasl_plain_password="eres",
		api_version(2,3,0)这段代码用java实现重新写下

要将你提供的配置用 Java 实现 Kafka 生产者，首先需要导入 Kafka 客户端库并设置相应的配置。以下是基于你的配置的 Java 实现：

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.common.config.SaslConfigs;
import org.apache.kafka.common.serialization.StringSerializer;

import java.util.Properties;

public class KafkaSender {

    private KafkaProducer<String, String> producer;
    private String topic;

    public KafkaSender(String bootstrapServers, String topic, String username, String password) {
        Properties props = new Properties();
        props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, bootstrapServers);
        props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
        props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
        props.put("security.protocol", "SASL_PLAINTEXT");
        props.put(SaslConfigs.SASL_MECHANISM, "SCRAM-SHA-256");
        props.put(SaslConfigs.SASL_JAAS_CONFIG,
                "org.apache.kafka.common.security.scram.ScramLoginModule required " +
                "username=\"" + username + "\" password=\"" + password + "\";");
        props.put("sasl.kerberos.service.name", "target");
        props.put(ProducerConfig.RETRIES_CONFIG, 3); // 设置重试次数
        props.put(ProducerConfig.ACKS_CONFIG, "all"); // 设置acks为all，确保消息送达

        // 设置 Kafka API 版本
        props.put("api.version.request", "true");
        props.put("api.version.fallback.ms", "0");

        producer = new KafkaProducer<>(props);
        this.topic = topic;
    }

    public void sendMessage(String key, String message) {
        ProducerRecord<String, String> record = new ProducerRecord<>(topic, key, message);
        producer.send(record, (metadata, exception) -> {
            if (exception != null) {
                exception.printStackTrace();
            } else {
                System.out.println("Message sent to topic " + metadata.topic() + " partition " + metadata.partition() + " offset " + metadata.offset());
            }
        });
    }

    public void close() {
        producer.close();
    }

    public static void main(String[] args) {
        // Kafka 集群的地址和要发送消息的主题
        String bootstrapServers = "10.1.1.1:9000,4.4.4.4:8888";
        String topic = "your_topic";

        // SASL 凭据
        String username = "ee";
        String password = "eres";

        // 创建 KafkaSender 实例
        KafkaSender sender = new KafkaSender(bootstrapServers, topic, username, password);

        // 请求报文
        String message = "{ \"router_key\":\"name\", \"prod_type\":23, \"branch\":\"vere\", \"even_type\":\"CERT\", \"ccy\":\"CNY\", \"profit\":\"B\", \"cercore\":\"TT\" }";

        // 发送消息
        sender.sendMessage("key1", message);

        // 关闭生产者
        sender.close();
    }
}

代码说明

配置 Kafka 生产者：
- ProducerConfig.BOOTSTRAP_SERVERS_CONFIG：指定 Kafka 服务器的地址。
- ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG 和 ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG：指定键和值的序列化器。
- security.protocol：指定安全协议，这里使用 SASL_PLAINTEXT。
- SaslConfigs.SASL_MECHANISM：指定 SASL 机制为 SCRAM-SHA-256。
- SaslConfigs.SASL_JAAS_CONFIG：配置 SASL 登录模块所需的凭据。
- sasl.kerberos.service.name：指定 Kerberos 服务名称。
- api.version.request 和 api.version.fallback.ms：确保使用正确的 Kafka API 版本。
创建 Kafka 生产者实例：
- 使用 KafkaProducer 类初始化 Kafka 生产者。
构建并发送消息：
- ProducerRecord 用于构建消息记录。
- producer.send 方法用于将消息发送到 Kafka，并可附加回调函数来处理发送结果。
关闭生产者：
- 使用 producer.close() 关闭 Kafka 生产者实例。

请确保你的 Java 项目中已经添加了 Kafka 客户端库的依赖。如果你使用的是 Maven，你可以在 pom.xml 中添加以下依赖：

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>3.4.0</version>
</dependency>

根据需要，你可以调整 Kafka 的配置和消息的构建方式。

上面的功能怎么能看出发送成功了

为了确定消息发送成功，你可以在消息发送的回调函数中检查是否有异常发生，并打印消息发送的元数据。这个元数据包含了消息发送到的主题、分区以及偏移量。

以下是代码的修改部分，添加了日志记录来确认消息是否成功发送：

import org.apache.kafka.clients.producer.Callback;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.clients.producer.RecordMetadata;
import org.apache.kafka.common.config.SaslConfigs;
import org.apache.kafka.common.serialization.StringSerializer;

import java.util.Properties;

public class KafkaSender {

    private KafkaProducer<String, String> producer;
    private String topic;

    public KafkaSender(String bootstrapServers, String topic, String username, String password) {
        Properties props = new Properties();
        props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, bootstrapServers);
        props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
        props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
        props.put("security.protocol", "SASL_PLAINTEXT");
        props.put(SaslConfigs.SASL_MECHANISM, "SCRAM-SHA-256");
        props.put(SaslConfigs.SASL_JAAS_CONFIG,
                "org.apache.kafka.common.security.scram.ScramLoginModule required " +
                "username=\"" + username + "\" password=\"" + password + "\";");
        props.put("sasl.kerberos.service.name", "target");
        props.put(ProducerConfig.RETRIES_CONFIG, 3); // 设置重试次数
        props.put(ProducerConfig.ACKS_CONFIG, "all"); // 设置acks为all

Cluster authorization failed 这个是什么问题

“Cluster authorization failed” 错误通常表明 Kafka 客户端在尝试连接 Kafka 集群时没有足够的权限。这可能是因为以下几种原因：

SASL 认证失败：用户名或密码不正确。
ACL 配置问题：Kafka 集群中配置的访问控制列表（ACL）没有授予客户端足够的权限。
Kerberos 配置问题：如果使用的是 Kerberos 认证，可能是 Kerberos 配置错误或凭据无效。

排查步骤

检查用户名和密码：确保配置的用户名和密码正确，并且对应的用户在 Kafka 中存在。
检查 ACL 配置：确保 Kafka

producer.send(record, (metadata, exception) -> { if (exception != null) { exception.printStackTrace(); } else { System.out.println("Message sent to topic " + metadata.topic() + " partition " + metadata.partition() + " offset " + metadata.offset()); } });这个不用泛型怎么写不带->这个怎么实现

如果你不想使用 Java 8 的 lambda 表达式（-> 语法），可以使用匿名内部类来实现回调。以下是你原来代码的修改版本，使用匿名内部类来处理回调：

import org.apache.kafka.clients.producer.Callback;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.clients.producer.RecordMetadata;
import org.apache.kafka.common.config.SaslConfigs;
import org.apache.kafka.common.serialization.StringSerializer;

import java.util.Properties;

public class KafkaSender {

    private KafkaProducer<String, String> producer;
    private String topic;

    public KafkaSender(String bootstrapServers, String topic, String username, String password) {
        Properties props = new Properties();
        props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, bootstrapServers);
        props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
        props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
        props.put("security.protocol", "SASL_PLAINTEXT");
        props.put(SaslConfigs.SASL_MECHANISM, "SCRAM-SHA-256");
        props.put(SaslConfigs.SASL_JAAS_CONFIG,
                "org.apache.kafka.common.security.scram.ScramLoginModule required " +
                "username=\"" + username + "\" password=\"" + password + "\";");
        props.put("sasl.kerberos.service.name", "target");
        props.put(ProducerConfig.RETRIES_CONFIG, 3); // 设置重试次数
        props.put(ProducerConfig.ACKS_CONFIG, "all"); // 设置acks为all，确保消息送达

        // 设置 Kafka API 版本
        props.put("api.version.request", "true");
        props.put("api.version.fallback.ms", "0");

        producer = new KafkaProducer<>(props);
        this.topic = topic;
    }

    public void sendMessage(String key, String message) {
        ProducerRecord<String, String> record = new ProducerRecord<>(topic, key, message);
        producer.send(record, new Callback() {
            @Override
            public void onCompletion(RecordMetadata metadata, Exception exception) {
                if (exception != null) {
                    exception.printStackTrace();
                } else {
                    System.out.println("Message sent to topic " + metadata.topic() + " partition " + metadata.partition() + " offset " + metadata.offset());
                }
            }
        });
    }

    public void close() {
        producer.close();
    }

    public static void main(String[] args) {
        // Kafka 集群的地址和要发送消息的主题
        String bootstrapServers = "10.1.1.1:9000,4.4.4.4:8888";
        String topic = "your_topic";

        // SASL 凭据
        String username = "ee";
        String password = "eres";

        // 创建 KafkaSender 实例
        KafkaSender sender = new KafkaSender(bootstrapServers, topic, username, password);

        // 请求报文
        String message = "{ \"router_key\":\"name\", \"prod_type\":23, \"branch\":\"vere\", \"even_type\":\"CERT\", \"ccy\":\"CNY\", \"profit\":\"B\", \"cercore\":\"TT\" }";

        // 发送消息
        sender.sendMessage("key1", message);

        // 关闭生产者
        sender.close();
    }
}

代码说明

匿名内部类：
- 使用匿名内部类实现 Callback 接口，而不是 lambda 表达式。
- 在 sendMessage 方法中，producer.send 的第二个参数是 new Callback()，然后在匿名内部类中实现 onCompletion 方法。
发送消息：
- ProducerRecord 用于构建消息记录。
- producer.send 方法用于将消息发送到 Kafka，并使用 new Callback() 来处理回调。
关闭生产者：
- 使用 producer.close() 关闭 Kafka 生产者实例。

请确保你的 Java 项目中已经添加了 Kafka 客户端库的依赖。如果你使用的是 Maven，你可以在 pom.xml 中添加以下依赖：

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>3.4.0</version>
</dependency>

通过上述修改，代码就不再使用 lambda 表达式，而是通过匿名内部类来实现回调。

qq_33192454

关注

21
点赞
踩
4

收藏

觉得还不错? 一键收藏
0
评论
“router_key“:“name“,“prod_type“:23,“branch“:“vere“,“even_type“:“CERT“,“ccy“:“CNY“,“profi发送数据到kafka

"router_key":"name", "prod_type":23, "branch":"vere", "even_type":"CERT", "ccy":"CNY", "profit":"B", "cercore":"TT" }用java给kafka的任务发送报文消息，这个作为请求报文发送个ip地址和端口的方法把这个报文传进去然后方法接受这个请求报文的信息然后给kafka发送数据怎么实现要将一个请求报文发送到 Kafka，可以通过 Java 使用 Kafka 客户端库来实现。
复制链接

扫一扫