初识kafka——安装

前言

在分布式系统中，我们广泛运用消息中间件进行系统间的数据异步调用,便于异步解耦和流量削峰。常见的三类消息产品有Kafka、RabbitMQ、RocketMQ。三者中kafka整体性能要更加强劲一些。消息系统通常有p2p和ps两种工作方式。而kafka整合这两个特点，既可以实现p2p又可以实现ps方式。kafak依赖zookeeper去维护自己broker、follower、consumer等信息，因此在使用kafka之前需要先搭建zookeeper。

一、单机安装

1、下载安装包
我是从官网下载的kafka_2.11-1.1.0.tar.gz版本。
2、解压
tar -zxvf kafka_2.11-1.1.0.tar.gz -C /soft
3、创建符号连接
ln -s kafka_2.11-1.1.0 kafka
4、修改环境变量
sudo vim /etc/profile
==================================
#添加kafka环境变量
export KAFKA_HOME=/soft/kafka
export PATH=$PATH:$KAFKA_HOME/bin
==================================
5、环境变量生效
source /etc/profile
6、启动zookeeper服务
7、启动kakfa
kafka-server-start.sh /soft/kafka/config/server.properties
8、体验kafka

1. 创建主题
   kafka-topics.sh --zookeeper localhost:2181 --topic test --partitions 1 --replication-factor 1 --create
2. 启动生产者，指定broker和主题
   kafka-console-producer.sh --broker-list localhost:9092 --topic test
3. 启动消费者，指定zk地址和主题
   kafka-console-consumer.sh --zookeeper localhost:2181 --topic test

二、完全分布式搭建

1、将kafka安装包和符号链接发送到其他节点
2、将环境变量分发到其他节点
3、开始node1-3会话，正式配置
vim /soft/kafka/config/server.properties

1. broker.id=1
2. listeners=PLAINTEXT://node1:9092
3. log.dirs=/home/centos/kafka/logs
4. zookeeper.connect=node1:2181,node2:2181,node3:2181

4、从node1分发给node2和node3

1. scp /soft/kafka/config/server.properties node2:/soft/kafka/config/server.properties
2. scp /soft/kafka/config/server.properties node3:/soft/kafka/config/server.properties
   修改 /soft/kafka/config/server.properties1)和2)两处，与自己的node相互对应

5、启动zookeeper
6、启动kafka
kafka-server-start.sh -daemon /soft/kafka/config/server.properties
kafka-server-start.sh -daemon /soft/kafka/config/server.properties
kafka-server-start.sh -daemon /soft/kafka/config/server.properties
7、体验kafka

1. 创建主题
   kafka-topics.sh --zookeeper s102:2181 --topic test --partitions 2 --replication-factor 3 --create
   副本数最多为broker数量
2. 启动生产者，指定broker和主题
   kafka-console-producer.sh --broker-list s102:9092 --topic test
3. 启动消费者，指定zk地址和主题
   kafka-console-consumer.sh --zookeeper s102:2181 --topic test

三、名词解释

1. Broker
   消息中间件处理节点，一个Kafka节点就是一个broker，一个或者多个Broker可以组成一个Kafka集群
2. Topic
   Kafka根据topic对消息进行归类，发布到Kafka集群的每条消息都需要指定一个topic
   3）Producer
   消息生产者，向Broker发送消息的客户端
3. Consumer
   消息消费者，从Broker读取消息的客户端
4. ConsumerGroup
   每个Consumer属于一个特定的Consumer Group，一条消息可以发送到多个不同的Consumer Group，但是一个Consumer Group中只能有一个Consumer能够消费该消息
5. Partition
   物理上的概念，一个topic可以分为多个partition，每个partition内部是有序的