kafka的安装配置与使用

一、kafka安装与配置

1、上传压缩包到任意节点

2、解压，配置环境变量 所有节点都配置

3、修改配置文件

vim /usr/local/soft/kafka_2.11-1.0.0/config/server.properties
1、broker.id=0，每一个节点broker.id 要不一样
2、zookeeper.connect=master:2181,node1:2181,node2:2181
3、log.dirs=/usr/local/soft/kafka_2.11-1.0.0/data   消息存放的位置

4、复制到其它节点 – 伪分布式不需要

scp -r kafka_2.11-1.0.0 node2:`pwd`
scp -r kafka_2.11-1.0.0 node1:`pwd`

5、修改每个节点的 – 伪分布式不需要

broker.id  master=0   node1=1  node2=2

6、启动

	1、启动zookeeper，  需要在所有节点启动
	 zkServer.sh start

	查看状态
	 zkServer.sh status
	 
	3，在每台节点启动broker，  kafka是去中心化的架构  
	 -daemon 后台启动   在所有节点启动
	kafka-server-start.sh -daemon  /usr/local/soft/kafka_2.11-1.0.0/config/server.properties

二、kafka的使用

1、创建topic

--replication-factor  ---每一个分区的副本数量
--partition   --分区数，  根据数据量设置

kafka-topics.sh --create --zookeeper master:2181 --replication-factor 1 --partitions 3 --topic test_topic1

2、查看topic描述信息

kafka-topics.sh --describe  --zookeeper master:2181 --topic test_topic1

3、获取所有topic

kafka-topics.sh --list  --zookeeper  master:2181

4、创建控制台生产者

kafka-console-producer.sh --broker-list master:9092 --topic test_topic1

5、创建控制台消费者 --from-beginning 从头消费，， 如果不在执行消费的新的数据

kafka-console-consumer.sh --bootstrap-server  master:9092 --from-beginning --topic test_topic1

重置kafka

1、关闭kafka

kill -9 id

2、删除元数据 zk

zkCli.sh
删除预kafka有关的所有信息
ls /
rmr /config
rmr /brokers

3、删除kafka的数据 所有节点都要删除

rm -rf /usr/local/soft/kafka_2.11-1.0.0/data 

4 重启

kafka-server-start.sh -daemon  /usr/local/soft/kafka_2.11-1.0.0/config/server.properties