关闭

java kafka消息的发送与接收

标签: kafkajava消息发送消息接收对象
4833人阅读 评论(2) 收藏 举报
分类:
java kafka消息的发送与接收
               消息队列在java EE级开发是很常用到的工具之一,在众多消息队列当中,active mq与kafka相对比较受开发者的喜爱,那么kafka是怎样实现消息的发送与接收呢?这里我们的消息通过一个实体类对象来进行封装,前提是你服务器上已经搭建好kafka环境,整个代码如下:
       1、kafka工具类,实现了生产者消费者消息的封装,以及发送消息到kafka上和从kafka上获取消息。
package com.starit.ipran.kafka;

import java.util.ArrayList;
import java.util.Arrays;
import java.util.Date;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import java.util.Properties;

import org.apache.kafka.clients.consumer.Consumer;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.Producer;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.JSONObject;
import com.starit.ipran.load.Constants;
import com.starit.ipran.model.IpranAlarm;

public class KafkaUtils {
    
    private final static Logger LOGGER = LoggerFactory.getLogger(KafkaUtils.class);
    
    private static Producer<String, String> producer;
    private static Consumer<String, String> consumer;

    private KafkaUtils() {

    }

    /**
     * 生产者,注意kafka生产者不能够从代码上生成主题,只有在服务器上用命令生成
     */
    static {
        Properties props = new Properties();
        props.put("bootstrap.servers", Constants.BOOTSTRAP_SERVERS);//服务器ip:端口号,集群用逗号分隔
        props.put("acks", "all");
        props.put("retries", 0);
        props.put("batch.size", 16384);
        props.put("linger.ms", 1);
        props.put("buffer.memory", 33554432);
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        producer = new KafkaProducer<>(props);
    }

    /**
     * 消费者
     */
    static {
        Properties props = new Properties();
        props.put("bootstrap.servers", Constants.BOOTSTRAP_SERVERS);//服务器ip:端口号,集群用逗号分隔
        props.put("group.id", "test");
        props.put("enable.auto.commit", "true");
        props.put("auto.commit.interval.ms", "1000");
        props.put("session.timeout.ms", "30000");
        props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        consumer = new KafkaConsumer<>(props);
        consumer.subscribe(Arrays.asList(Constants.TOPIC_NAME));
    }

    /**
     * 发送对象消息 至kafka上,调用json转化为json字符串,应为kafka存储的是String。
     * @param msg
     */
    public static void sendMsgToKafka(IpranAlarm msg) {
        producer.send(new ProducerRecord<String, String>(Constants.TOPIC_NAME, String.valueOf(new Date().getTime()),
                JSON.toJSONString(msg)));
    }

    
    /**
     * 从kafka上接收对象消息,将json字符串转化为对象,便于获取消息的时候可以使用get方法获取。
     */
    public static void getMsgFromKafka(){
        while(true){
            ConsumerRecords<String, String> records = KafkaUtils.getKafkaConsumer().poll(100);
            if (records.count() > 0) {
                for (ConsumerRecord<String, String> record : records) {
                    JSONObject jsonAlarmMsg = JSON.parseObject(record.value());
                    IpranAlarm alarmMsg = JSONObject.toJavaObject(jsonAlarmMsg, IpranAlarm.class);
                    LOGGER.info("从kafka接收到的消息是:" + alarmMsg.toString());
                }
            }
        }
    }
    
    public static Consumer<String, String> getKafkaConsumer() {
        return consumer;
    }

    public static void closeKafkaProducer() {
        producer.close();
    }

    public static void closeKafkaConsumer() {
        consumer.close();
    }
}



       2、实体类是IpranAlarm,可以用其对象封装消息,调用发送与接收方法就可以实现相应的功能了。
1
0
查看评论

初识Apache Kafka+JAVA程序实例

本文是从英文的官网摘了翻译的,用作自己的整理和记录。水平有限,欢迎指正。版本是: kafka_2.10-0.10.0.0   一、基础概念 主题:Kafka maintains feeds of messages in categories called topics.    生产者:We’ll...
  • likewindy
  • likewindy
  • 2016-06-27 09:53
  • 29967

Kafka实践(三) java开发环境搭建

前面已经部署好了Kafka集群(伪分布式),下面要进入java开发环境搭建。 一、环境描述       1、win10下 eclipse (kepler)        2、本机建立了虚拟机 系统:  centos...
  • csolo
  • csolo
  • 2016-09-06 14:21
  • 8931

kafka集群搭建和使用Java写kafka生产者消费者

http://czj4451.iteye.com/blog/2041096 1 kafka集群搭建   Java代码   1.zookeeper集群  搭建在110, 111,112    &#...
  • xj626852095
  • xj626852095
  • 2016-06-19 08:52
  • 8467

Java实现Kafka读写笔记

1.POM.XML org.apache.kafka kafka-clients 0.8.2.1 org.apache.kafka ...
  • qq_26840065
  • qq_26840065
  • 2017-04-18 13:41
  • 5365

Kafka使用Java客户端进行访问

本文环境如下: 操作系统:CentOS 6 32位 JDK版本:1.8.0_77 32位 Kafka版本:0.9.0.1(Scala 2.11) 1. maven依赖包<dependency> <groupId>org.apache.kafka<...
  • Lnho2015
  • Lnho2015
  • 2016-05-09 16:15
  • 26464

Java使用Kafka初探

以前用过mq,也早就听说过Kafka。 Kafka这个名字感觉好高大上,一直想着试试是怎样的,今天周末,正好有空,在家来尝试一下 以下是我今天搭建一个Kafka使用的主要步骤 环境: 1.centos7 x64(预先装好了JDK环境) 2.Kafka版本:kafka_2.10-0....
  • puhaiyang
  • puhaiyang
  • 2017-06-11 14:42
  • 1245

kafka java示例

我使用的kafka版本是:0.7.2 jdk版本是:1.6.0_20 http://kafka.apache.org/07/quickstart.html官方给的示例并不是很完整,以下代码是经过我补充的并且编译后能运行的。 Producer Code [java] v...
  • hxpjava1
  • hxpjava1
  • 2014-02-13 14:34
  • 38264

kafka Producer 和 Consumerjava代码实现

kafka Producer 和 Consumerjava代码实现
  • wslyk606
  • wslyk606
  • 2017-11-30 11:05
  • 195

kafka介绍,安装以及简单的java调用kafka代码

kafka介绍,安装以及简单的java调用kafka代码
  • hwssg
  • hwssg
  • 2015-10-01 20:50
  • 18711

基于Java+SparkStreaming整合kafka编程

一、下载依赖jar包 具体可以参考:SparkStreaming整合kafka编程 二、创建Java工程 太简单,略。 三、实际例子 spark的安装包里面有好多例子,具体路径:spark-2.1.1-bin-hadoop2.7\examples。 JavaDir...
  • chongxin1
  • chongxin1
  • 2017-07-31 11:57
  • 1668
    个人资料
    • 访问:55370次
    • 积分:1209
    • 等级:
    • 排名:千里之外
    • 原创:65篇
    • 转载:0篇
    • 译文:0篇
    • 评论:12条
    贵州中测信息技术有限公司
    友情链接
    最新评论