【kafka】kafka安装配置以及遇到的问题


这几天用kafka来做分布式事务,所以就涉及到了kafka,以前都是用MQ做消息中间件,这次又学习了kafka的相关内容。


一、kafka是什么?


是一种高吞吐量的分布式发布订阅消息系统。有如下特性:

通过o(1)的磁盘数据结构提供消息的持久化,这种数据结果对于即使TB的消息存储也能够保持很长时间的稳定

高吞吐量:即使是非常普遍的硬件kafka,也可以支持每秒百万的消息。

支持通过kafka服务器和消费机集群来分区消息。

支持hadoop并行数据加载。

kafka的设计初衷是日志统计分析,也可以做运营数据的统计分析。


二、对比其他消息中间件


RabbitMq 遵循AMQP协议,对内在的高并发和erlang语言开发,用在实时性和可靠性要求你比较高的消息系统上。

kafka是2010年开源的消息发布订阅系统,主要用于处理活跃的流式数据上,大数据量的处理上。

①吞吐量

kafka 具有较高的吞吐量,内部采用了消息的批量处理,数据的存储和获取是本地磁盘的批量操作,消息处理的效率很高。

rabbitMQ在吞吐量方面稍逊于kafka,他们的出发点不一样,rabbitMq支持对消息的可靠性的传递

②集群负载均衡方面

kafka采用zookeeper对集群中的broker/consumer进行管理,可以注册topic到zookeeper上。rabbitMq 的负载均衡是需要单独的loadbalancer进行支持。

kafka一般应用在大数据日志处理和对实时性(少量延迟),可靠性(少量丢失数据)要求稍低的应用场景。


三、安装和配置


 参考文章;kafka在windows安装运行

文章讲解很清楚,我参考文档搭建成功,所以推荐下。


四、springboot 项目中的使用


1.添加pom文件

<!--kafka-->
		<dependency>
			<groupId>org.springframework.kafka</groupId>
			<artifactId>spring-kafka</artifactId>
		</dependency>

2.添加配置

#指定kafka主机和消息组名
spring.kafka.bootstrap-servers=127.0.0.1:9092
spring.kafka.consumer.group-id=mygroup
# 指定消息的key和消息体的编码方式
spring.kafka.consumer.key-deserializer=org.apache.kafka.common.serialization.StringDeserializer
spring.kafka.consumer.value-deserializer=org.apache.kafka.common.serialization.StringDeserializer
spring.kafka.producer.key-serializer=org.apache.kafka.common.serialization.StringSerializer
spring.kafka.producer.value-serializer=org.apache.kafka.common.serialization.StringSerializer

3.封装接收消息的实体

package com.example.demo.message;

import java.util.Date;

public class Message {

	public Integer getId() {
		return id;
	}

	public void setId(Integer id) {
		this.id = id;
	}

	public Date getSendTime() {
		return sendTime;
	}

	public void setSendTime(Date sendTime) {
		this.sendTime = sendTime;
	}

	public String getMessage() {
		return message;
	}

	public void setMessage(String message) {
		this.message = message;
	}

	private   Integer id;
	private Date sendTime;
	private  String message;


}

4.provider

package com.example.demo.message;

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.kafka.core.KafkaTemplate;
import org.springframework.stereotype.Component;

import java.util.Date;

/*import com.google.gson.Gson;
import com.google.gson.GsonBuilder;*/
@Component
public class Sender {
	@Autowired
	private KafkaTemplate kafkaTemplate;

 public  void  sendMessage(){
 	Message m=new Message();
 	m.setId(11);
 	m.setMessage("Hello Kafka");
 	m.setSendTime(new Date());
 	//send是两个 参数,第一个参数是topic,第二个参数是Message数据
    kafkaTemplate.send("demo",m);
 }

}

5.consumer

@Component
public class Receiver {


     @Autowired
    private IUserService userService;

	@KafkaListener(topics = "demo")
	public  void processMessage(ConsumerRecord<String,Object> record){
                 //解析接收到的数据
		JSONObject jsonObject=(JSONObject)record.value();
		Message message=jsonObject.toJavaObject(Message.class);
                 system.out.println("我是接收,我接收到的是"+message.getMessage+message.getSendTime);
}



6运行效果



7.参考文档

spring boot与kafka集成(spring boot 1.5.1版本)


小结

初步了解kafka,以及运用


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值