kafka发送数据与接收数据(接收数据-可不同系统使用)

kafka接收数据

(注: 这是在已搭建好的kafka中进行的,如果有kafka的IP地址你不用在自己电脑上搭建)

第一步 导入jar

如果你在发送数据那已经添加了kafka的jar在这就不用加了(不同系统需要,别发神经以为不要)

       <!-- 这是kafka的jar包  -->
        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka-streams</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.kafka</groupId>
            <artifactId>spring-kafka</artifactId>
        </dependency>
        
        <!-- https://mvnrepository.com/artifact/com.alibaba/fastjson -->
        <!-- json -->
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.2.62</version>
        </dependency>
第二步 配置myl
spring:
  kafka:
    consumer:
      # 指定kafka server的地址,集群配多个,中间,逗号隔开
      bootstrap-servers: localhost
      #如果'enable.auto.commit'true,则消费者偏移自动提交给Kafka的频率(以毫秒为单位),默认值为5000。
      auto-commit-interval: 100
      # smallest和largest才有效,如果smallest重新0开始读取,如果是largest从logfile的offset读取。一般情况下我们都是设置smallest
      auto-offset-reset: earliest
      #--> 设置自动提交offset
      enable-auto-commit: true
      # 指定默认消费者group id --> 由于在kafka中,同一组中的consumer不会读取到同一个消息,依靠groud.id设置组名
      group-id: bayerConsumerGroup
      # 指定消息key和消息体的编解码方式
      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer
第三步 接受数据
package com.jianxun.nash.consumer.listener;

import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.TypeReference;
import com.jianxun.nash.consumer.model.TopicMessageDTO;
import com.jianxun.nash.consumer.model.hisModel.SurgeryOrder;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.kafka.annotation.KafkaListener;
import org.springframework.stereotype.Component;

import java.util.List;

@Component
public class ConsumerListener {
      
    /**
     *  消费 
     *  his_hospital_1 是获取数据的标识,可在我kafka的发送博客中查看
     *  topics 里的数据在 我kafka的发送博客中  
     *  TopicMessageDTO 在 kafka的发送博客中也有提到。不同的系统要把这个类复制过来 
     *  SurgeryOrder你的数据对象而已 自己定义的要跟发送的数据一直
     * @param record
     */
    @KafkaListener(topics = "his_hospital_1")
    public void consumerHisData(ConsumerRecord<String, String> record){
        // 将 json转换数据
        TopicMessageDTO<List<SurgeryOrder>> listTopicMessageDTO = 
                JSON.parseObject(record.value(), new TypeReference<TopicMessageDTO<List<SurgeryOrder>>>() {});
    }

}

发送数据

kafka发送数据博客

  • 0
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
要关闭Kafka接收数据,可以通过停止消费者程序来实现。根据引用\[3\]中的描述,如果使用的是旧的ETL工具开发的Kafka组件,可能会存在无法正确发送退出group消息的问题。这会导致Kafka broker继续将其视为活动消费者,并忽略新的消费者。为了解决这个问题,可以尝试以下步骤: 1. 停止消费者程序:根据你的具体情况,找到正在运行的消费者程序,并停止它。可以使用适当的命令或工具来停止消费者程序。 2. 检查消费者组状态:可以使用命令`bin/kafka-consumer-groups.sh --bootstrap-server <broker地址> --group <消费者组ID> --describe`来检查消费者组的状态。确保消费者已成功退出组并不再消费数据。 3. 确认消费者组ID:如果你尝试更改消费者组ID,确保在更改后重新启动消费者程序,并使用正确的新组ID。 4. 检查环境初始化:如果你在执行Kafka命令时遇到了问题,例如"java not found"错误,确保你已正确执行了环境初始化脚本。根据引用\[3\]中的描述,华为FusionInsight服务客户端软件安装时需要先执行环境初始化脚本。 请根据你的具体情况和环境执行上述步骤来关闭Kafka接收数据。 #### 引用[.reference_title] - *1* *2* [【kafka】实时数据存储](https://blog.csdn.net/m0_67239108/article/details/130372665)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [kafka接收不到数据](https://blog.csdn.net/weixin_43472847/article/details/103642142)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值