kafka配置

介绍

Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据

配置

1.环境变量

/etc/profile

# set kafka path
export KAFKA_HOME=/usr/kafka_2.12-2.6.0
export PATH=$PATH:$KAFKA_HOME/bin

source /etc/profile

2.解压配置

tar解压相应kafka版本

修改server.properties：

broker.id=3
#hostname
host.name=192.168.233.27
port=9092


listeners=PLAINTEXT://192.168.233.27:9092

advertised.listeners=PLAINTEXT://192.168.233.27:9092

#创建kafkalogs
log.dirs=/usr/kafka_2.12-2.6.0/kafkalogs

3.分发到其他服务器上

scp -r /usr/kafka_2.12-2.6.0 hadoop@192.168.233.76:/usr/

4.启动

./kafka-server-start.sh -daemon ../config/server.properties

5.验证

创建主题：

./kafka-topics.sh --create --zookeeper 192.168.233.68:2181,192.168.233.248:2181 --topic test --partitions 3 --replication-factor 1

写入主题内容：

./kafka-console-producer.sh --broker-list 192.168.233.68:9092,192.168.233.248:9092 --topic test

进入其他机子验证（消费消息）:

./kafka-console-consumer.sh --bootstrap-server 192.168.233.248:9092 --topic test --from-beginning

6.报错解决方法

一般先关掉kafka，删除/usr/kafka_2.12-2.6.0/kafkalogs文件，再创建kafkalogs，重启kafka。