Kafka环境搭建

Kafka环境搭建

1、  下载并解压kafka文件

tar –zxvf kafka_2.8.0-0.8.0.tar.gz

ln –s kafka_2.8.0-0.8.0.tar.gz kafka

2、  配置环境变量

su root

vim /etc/profile.d/java #我的环境变量配置地址

增加配置

export KAFKA_HOME=/application/hadoop/kafka

export PATH=$PATH:$KAFKA_HOME/bin

source /etc/profile

3、  创建3个borker组成的集群

cd /application/hadoop/kafka/config

cp server.properties server-1.properties

cp server.properties server-2.properties

修改server-*.properties配置信息

config/server-1.properties:

      broker.id=1

      port=9093

      log.dir=/tmp/kafka-logs-1

config/server-2.properties:

      broker.id=2

      port=9094

      log.dir=/tmp/kafka-logs-4

配置完成，由于kafka依赖zookeeper，所以需要先启动zookeeper

zkServer.sh start （zookeeper可单节点或者集群节点，在这里我启动了三个zookeeper节点）

#启动kafka服务

kafka-server-start.sh/application/hadoop/kafka/config/server.properties &

#创建名为test的topic， 1个分区分别存放数据，数据备份总共1份

kafka-create-topic.sh–replica 1 –partition 1 –topic mytest –zookeeper master:2181,slave1:2181,slave2:2181

#查看topic分布情况

kafka-list-topic.sh--zookeeper master:2181,slave1:2181,slave2:2181

#增加partition数目

kafka-add-partitions.sh --topicmytest –partition 2  --zookeeper master:2181,slave1:2181,slave2:2181

#控制台接收消息

kafka-console-consumer.sh--zookeeper master:2181,slave1:2181,slave2:2181 --from-beginning --topic mytest

#控制台发送消息

kafka-console-producer.sh--broker-list --zookeeper master:2181,slave1:2181,slave2:2181 --topic mytest

#慎用删除

kafka-run-class.shkafka.admin.DeleteTopicCommand --topic mytest–zookeeper master:2181,slave1:2181,slave2:2181