kafka学习

kafka的单机（单节点）安装

下载kafka     Apache Kafka

解压

tar -zxvf kafka_2.12-3.0.0.tar.gz -C 指定位置

切换到kafka目录下的config配置文件目录

修改 server.properties文件配置

broker.id  // 这个在集群中是唯一存在的标识，单节点不需要改，但是集群搭建时需要改
log.dirs=指定目录  // kafka运行日志(数据)存放的路径，路径不需要提前创建，kafka自动帮你创建，可以 配置多个磁盘路径，路径与路径之间可以用"，"分隔
zookeeper.connect // 配置连接Zookeeper集群地址（集群搭建时建议在zk根目录下创建/kafka，方便管理）

伪分布搭建时可以添加port配置来修改每个节点开启的端口号

到这kafka的搭建就完成了，先开启zookeeper再开启kafka就OK了

kafka开启的命令

bin/kafka-server-start.sh -daemon config/server.properties

伪分布集群的搭建要求zookeeper也是伪分布集群搭建这样才能开启多个节点

创建主题（单节点注意副本数只能为1）

bin/kafka-topics.sh --bootstrap-server hadoop123:9092 --create --partitions 1 --replication-factor 1 --topic first

 查看主题详情

bin/kafka-topics.sh --bootstrap-server hadoop123:9092 --describe --topic first

修改分区数（只能往大了改）

bin/kafka-topics.sh --bootstrap-server hadoop123:9092 --alter --topic first --partitions 3

删除topic

bin/kafka-topics.sh --bootstrap-server hadoop123:9092 --delete --topic first

生产者命令行

bin/kafka-console-producer.sh --bootstrap-server hadoop123:9092 --topic first

 消费者命令行

bin/kafka-console-consumer.sh --bootstrap-server hadoop123:9092 --topic first

消费所有数据（包括历史数据）

bin/kafka-console-consumer.sh --bootstrap-server hadoop123:9092 --from-beginning --topic first