kafka入门部署以及消息中间件简述

一、概述

1、什么是消息中间件

消息中间件是在消息的传输过程中保存消息的容器。消息中间件在将消息从消息生产者到消费者时充当中间人的作用。队列的主要目的是提供路由并保证消息的传送；如果发送消息时接收者不可用，消息对列会保留消息，直到可以成功地传递它为止，当然，消息队列保存消息也是有期限的

2、消息中间件特点

• 采用异步处理模式
  消息发送者可以发送一个消息而无须等待响应。消息发送者将消息发送到一条虚拟的通道（主题或者队列）上，消息接收者则订阅或者监听该通道。一条消息可能最终转发给一个或多个消息接收者，这些接收者都无需对消息发送者做出同步回应。整个过程是异步的
• 应用程序和应用程序调用关系为松耦合关系
  发送者和接收者不必要了解对方、只需要确认消息；发送者和接收者不必同时在线；（比如在线交易系统为了保证数据的最终一致，在支付系统处理完成后会把支付结果放到信息中间件里通知订单系统修改订单支付状态。两个系统通过消息中间件解耦）

3、消息中间件的传递模型

3.1 点对点模型(PTP)

点对点模型用于消息生产者和消息消费者之间点对点的通信。消息生产者将消息发送到由某个名字标识的特定消费者。这个名字实际上对应于消费服务中的一个队列(Queue)，在消息传递给消费者之前它被存储在这个队列中。队列消息可以放在内存中也可以是持久的，以保证在消息服务出现故障时仍然能够传递消息
特点：
每个消息只有一个消费者；
发送者和接受者没有时间依赖；
接受者确认消息接受和处理成功；

3.2 发布—订阅模型(Pub/Sub)

发布者/订阅者模型支持向一个特定的消息主题生产消息。0或多个订阅者可能对接收来自特定消息主题的消息感兴趣。在这种模型下，发布者和订阅者彼此不知道对方。这种模式好比是匿名公告板。这种模式被概括为：多个消费者可以获得消息。在发布者和订阅者之间存在时间依赖性。发布者需要建立一个订阅(subscription)，以便能够让消费者订阅。订阅者必须保持持续的活动状态以接收消息，除非订阅者建立了持久的订阅。在这种情况下，在订阅者未连接时发布的消息将在订阅者重新连接时重新发布。
其实消息中间件，像MySQL其实也可以作为消息中间件，只要你把消息中间件原理搞清楚，你会发现目前所有的存储，包括NoSQL，只要支持顺序性东西的，就可以作为一个消息中间件。就看你怎么去利用它了。就像redis里面那个队列list，就可以作为一个消息队列
特性：
每个消息可以有多个订阅者；
客户端只有订阅后才能接收到消息；
持久订阅和非持久订阅；

4、kafka介绍

Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案（来自于百度百科）

二、集群的安装部署

1、相关主机的准备

主机名	IP地址
log1	192.168.10.1
log2	192.168.10.2
log3	192.168.10.3

前置条件：需要安装JDK和zookeeper集群

2、kafka的下载安装

• 下载并解压 此例子版本是kafka_2.11-0.9.0.1

wget http://mirrors.cnnic.cn/apache/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz
tar zxf kafka_2.11-0.9.0.1.tgz
# 解压至 /usr/local/kafka/目录下

• 建立消息持久化目录

mkdir /kafkaLogs

• 配置文件修改 /usr/local/kafka/conf/server.properties

（1）修改 broker.id

############################# Server Basics #############################
# The id of the broker. This must be set to a unique integer for each broker.
broker.id=0
# log1的主机broker.id为0，log2的主机broker.id为1，以此类推

（2）修改kafka监听地址

listeners=PLAINTEXT://192.168.10.1:9092 

（3）修改消息持久化目录

log.dirs=/kafkaLogs

（4）修改zk集群地址

zookeeper.connect=192.168.10.1:2187,192.168.10.2:2187,192.168.10.3:2187

（5）关闭自动创建topic

auto.create.topics.enable=false

（6）添加启用删除topic配置

delete.topic.enable=false

（7）将相同配置拷贝至集群的另外主机，注意修改broker.id的字段

• 启动kafka

JMX_PORT=9997 bin/kafka-server-start.sh -daemon config/server.properties 
# JMX_PORT是设定控制集群的端口
# -daemon是指后台运行

• 验证是否已经启动

[root@log1 ~]# jps
6142 Kafka

• 由于kafka的日志不会自动清理，需要设定定时任务进行清理

三、常用命令

1、启动停止

bin/kafka-server-start.sh config/server.properties &
#启动kafka
bin/kafka-server-stop.sh
#停止kafka

2、topic

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
#创建名为test的topic
bin/kafka-topics.sh --list --zookeeper localhost:2181
#展示topic
bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic
#描述topic
bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic test
#删除名为test的topic，之后要删除持久化目录下的内容，并重新启动
bin/kafka-console-producer.sh --broker-list 130.51.23.95:9092 --topic my-replicated-topic 
#生产者
bin/kafka-console-consumer.sh --zookeeper 130.51.23.95:2181 --topic test --from-beginnin
#消费者
./kafka-console-consumer.sh --bootstrap-server 192.168.16.43:9092 --topic PushUserDeviceEntry
#消费

（本文参考暴走小骚年的博客 http://jkzhao.github.io/）