Apache Kafka安装

kafka基本架构

Kafka Cluster:由多个服务器组成。每一服务器单独的名字叫broker(掮客)
Kafka broker:kafka集群中包含的服务器
Kafka Producer:消息生产者，发布消息到kafka集群终端或服务
Kafka Consumer:消息消费者消费数据
Kafka Topic:主题，一类消息的名称，存储数据时将一类数据存放在某个topic下，消费数据也是消费一类数据。

Kafka的元数据都是存放在zookeeper中的。

三台服务器
node01,node02,node03

安装目录

安装包存放的目录：/export/software
安装程序存放的目录：/export/servers
数据目录：/export/data
日志目录：/export/logs

创建各级目录命令:
mkdir -p /export/servers/
mkdir -p /export/software/
mkdir -p /export/data/
mkdir -p /export/logs/

zookeeper集群已经安装好并启动

kafka2.11-1.00.tar.gz

使用 rz 命令将安装包上传至 /export/software

1)  切换目录上传安装包
cd /export/software
rz   # 选择对应安装包上传即可

2) 解压安装包到指定目录下
tar -zxvf kafka_2.11-1.0.0.tgz -C /export/servers/
cd /export/servers/

3) 重命名(由于名称太长)
mv kafka_2.11-1.0.0 kafka

修改配置文件

cd /export/servers/kafka/config/
vi   server.properties

主要修改一下三个地方:
	1) broker.id            需要保证每一台kafka都有一个独立的broker
	2) listeners = PLAINTEXT://当前虚拟机ip地址:9092
	3) log.dirs             数据存放的目录  
	4) zookeeper.connect    zookeeper的连接地址信息 
    

#broker.id 标识了kafka集群中一个唯一broker。   
broker.id=0   
num.network.threads=3   
num.io.threads=8   
socket.send.buffer.bytes=102400   
socket.receive.buffer.bytes=102400   
socket.request.max.bytes=104857600  

#listeners : 表示的监听的地址. 需要更改为当前虚拟机的ip地址, 保证其他主机都能连接
listeners = PLAINTEXT://当前虚拟机的ip地址:9092

# 存放生产者生产的数据 数据一般以topic的方式存放    
log.dirs=/export/data/kafka           
num.partitions=1   
num.recovery.threads.per.data.dir=1   
offsets.topic.replication.factor=1   
transaction.state.log.replication.factor=1   
transaction.state.log.min.isr=1   
log.retention.hours=168   
log.segment.bytes=1073741824   
log.retention.check.interval.ms=300000     

# zk的信息   
zookeeper.connect=node01:2181,node02:2181,node03:2181   
zookeeper.connection.timeout.ms=6000   
group.initial.rebalance.delay.ms=0  

将配置好的kafka分发到其他二台主机

cd /export/servers
scp -r kafka/ node02:$PWD  
scp -r kafka/ node03:$PWD

需要修改每一台的broker.id

node01: broker.id=0
node01: broker.id=1
node01: broker.id=2

在每一台的服务器执行创建数据文件的命令

mkdir -p /export/data/kafka

启动集群

cd /export/servers/kafka/bin   
./kafka-server-start.sh /export/servers/kafka/config/server.properties 1>/dev/null 2>&1 &


注意：可以启动一台broker，单机版。也可以同时启动三台broker，组成一个kafka集群版