【kafka】kafka安装配置以及遇到的问题

这几天用kafka来做分布式事务，所以就涉及到了kafka，以前都是用MQ做消息中间件，这次又学习了kafka的相关内容。

一、kafka是什么？

是一种高吞吐量的分布式发布订阅消息系统。有如下特性：

通过o(1)的磁盘数据结构提供消息的持久化，这种数据结果对于即使TB的消息存储也能够保持很长时间的稳定

高吞吐量：即使是非常普遍的硬件kafka，也可以支持每秒百万的消息。

支持通过kafka服务器和消费机集群来分区消息。

支持hadoop并行数据加载。

kafka的设计初衷是日志统计分析，也可以做运营数据的统计分析。

二、对比其他消息中间件

RabbitMq 遵循AMQP协议，对内在的高并发和erlang语言开发，用在实时性和可靠性要求你比较高的消息系统上。

kafka是2010年开源的消息发布订阅系统，主要用于处理活跃的流式数据上，大数据量的处理上。

①吞吐量

kafka 具有较高的吞吐量，内部采用了消息的批量处理，数据的存储和获取是本地磁盘的批量操作，消息处理的效率很高。

rabbitMQ在吞吐量方面稍逊于kafka,他们的出发点不一样，rabbitMq支持对消息的可靠性的传递

②集群负载均衡方面

kafka采用zookeeper对集群中的broker/consumer进行管理，可以注册topic到zookeeper上。rabbitMq 的负载均衡是需要单独的loadbalancer进行支持。

kafka一般应用在大数据日志处理和对实时性（少量延迟），可靠性（少量丢失数据）要求稍低的应用场景。

三、安装和配置

 参考文章；kafka在windows安装运行

文章讲解很清楚，我参考文档搭建成功，所以推荐下。

四、springboot 项目中的使用

1.添加pom文件

<!--kafka-->
		<dependency>
			<groupId>org.springframework.kafka</groupId>
			<artifactId>spring-kafka</artifactId>
		</dependency>

2.添加配置

#指定kafka主机和消息组名
spring.kafka.bootstrap-servers=127.0.0.1:9092
spring.kafka.consumer.group-id=mygroup
# 指定消息的key和消息体的编码方式
spring.kafka.consumer.key-deserializer=org.apache.kafka.common.serialization.StringDeserializer
spring.kafka.consumer.value-deserializer=org.apache.kafka.common.serialization.StringDeserializer
spring.kafka.producer.key-serializer=org.apache.kafka.common.serialization.StringSerializer
spring.kafka.producer.value-serializer=org.apache.kafka.common.serialization.StringSerializer

3.封装接收消息的实体

package com.example.demo.message;

import java.util.Date;

public class Message {

	public Integer getId() {
		return id;
	}

	public void setId(Integer id) {
		this.id = id;
	}

	public Date getSendTime() {
		return sendTime;
	}

	public void setSendTime(Date sendTime) {
		this.sendTime = sendTime;
	}

	public String getMessage() {
		return message;
	}

	public void setMessage(String message) {
		this.message = message;
	}

	private   Integer id;
	private Date sendTime;
	private  String message;


}

4.provider

package com.example.demo.message;

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.kafka.core.KafkaTemplate;
import org.springframework.stereotype.Component;

import java.util.Date;

/*import com.google.gson.Gson;
import com.google.gson.GsonBuilder;*/
@Component
public class Sender {
	@Autowired
	private KafkaTemplate kafkaTemplate;

 public  void  sendMessage(){
 	Message m=new Message();
 	m.setId(11);
 	m.setMessage("Hello Kafka");
 	m.setSendTime(new Date());
 	//send是两个 参数，第一个参数是topic,第二个参数是Message数据
    kafkaTemplate.send("demo",m);
 }

}

5.consumer

@Component
public class Receiver {


     @Autowired
    private IUserService userService;

	@KafkaListener(topics = "demo")
	public  void processMessage(ConsumerRecord<String,Object> record){
                 //解析接收到的数据
		JSONObject jsonObject=(JSONObject)record.value();
		Message message=jsonObject.toJavaObject(Message.class);
                 system.out.println("我是接收，我接收到的是"+message.getMessage+message.getSendTime);
}








6运行效果






7.参考文档
spring boot与kafka集成(spring boot 1.5.1版本)





小结
初步了解kafka，以及运用