Kafka集群的下载和安装

Kafka集群的下载和安装

下载地址：http://kafka.apache.org/downloads

先启动zookeeper

1. 解压

   [hadoop@hadoop101 installPkg]$ tar -zxvf kafka_2.11-1.0.2.tgz -C ../apps/
   

2. 创建软连接

   [hadoop@hadoop101 apps]$ ln -s kafka_2.11-1.0.2/ kafka
   

3. 添加server配置（注意：配置zookeeper后面要有目录，否则在zk上的数据都在根目录下，不方便查看）

   broker.id 这里我设置成主机名的后几位数字

   [hadoop@hadoop101 kafka]$ mkdir logs
   [hadoop@hadoop101 config]$ vim server.properties
   broker.id=101
   log.dirs=/home/hadoop/apps/kafka/logs
   zookeeper.connect=hadoop101:2181,hadoop102:2181,hadoop103:2181/kafka
   

4. 配置环境变量

   [hadoop@hadoop101 bin]$ sudo vim /etc/profile
   ## kafka的环境变量
   export KAFKA_HOME=/home/hadoop/apps/kafka
   export PATH=$PATH:$KAFKA_HOME/bin
   
   [hadoop@hadoop101 bin]$ source /etc/profile
   

5. 分发到其他节点，记住更改每个节点broker.id的值