kafka安装使用

第一步配置环境变量

vim /etc/profile

export KAFKA_HOME=/usr/local/ kafka

export PATH=$PATH:$KAFKA_HOME /bin:  

source /etc/profile

第二步修改kafka配置

vim config/server.properties

broker.id=1       //这里请在不同机器上配置不同值，非负整数1，2，3

listeners=PLAINTEXT://master:9092 //这里请在不同机器上配置不同值

advertised.listeners=PLAINTEXT://master:9092   //这里请在不同机器上配置不同值

log.dirs=/data/kafka          //上面创建的kafka数据存放目录

zookeeper.connect=master:2181, slave1:2181, slave2:2181

第三步创建启动bash

#!/bin/sh

#one key startup kafka,and deal logs

bin_dir=`dirname $0`

cd $bin_dir/..

kafka_home=`pwd`

log_dir=${kafka_home}/logs

nohup bin/kafka-server-start.sh config/server.properties >> ${log_dir}/kafka.log 2>&1 &

exit 0

第四步kafka测试

创建topic

$bin/kafka-topics.sh --create --zookeeper master :2181 --replication-factor 1 --partitions 1 --topic tp_playtime

topic列表

$bin/kafka-topics.sh --list --zookeeper master:2181

发送消息

$bin/kafka-console-producer.sh --broker-list master:9092 --topic test

消费消息

$bin/kafka-console-consumer.sh --zookeeper master :2181 --topic  tp_playtime --from-beginning