Kafka集群搭建 以及命令

好久没有写博客了 有点懒 赶紧补一下
Kafka集群 搭建

测试机 三个节点 hadoop1 hadoop2 hadoop3
这三个节点 安装了独立的zookeeper 且我其他hadoop hbase等元数据信息都在上面 我不用Kafka自带的 zookeeper

本次的版本是：/kafka_2.10-0.10.0.1

修改配置：

kafka_2.10-0.10.0.1/config
下面有很多文件 需要我们关注的 除了log4j其实就三个

consumer.properties            
server.properties
producer.properties

先看一下 最重要的 server.properties

我修改主要如下：

broker.id=0   //hadoop1 为0   Hadoop2 为1   Hadoop3为2
listeners=PLAINTEXT://192.168.90.保密:9092 // 三个节点不同ip
delete.topic.enable=true   //删除主题后  物理删除（直接删掉不标记为删除）
log.dirs=/tmp/kafka-logs  //这个是消息存放的路径  消息都是放在.log结尾的文件中   索引放在.index 文件中  （二分查找法）

zookeeper.connect=192.168.90.**:2181,192.168.90.**:2181,192.168.90.**:2181   //zookeeper 集群的地址

//其他参数 参考官网  调优时自己配置

下面 comsumer.properties

zookeeper.connect=192.168.90.**:2181,192.168.90.**:2181,192.168.90.**:2181   //zookeeper 集群的地址

下面 producer.properties

bootstrap.servers=192.168.90.**:9092,192.168.90.**:9092,192.168.90.**:9092

然后 三台启动 就可以了 具体查看集群状态信息 可以参考我上一篇博客 kafka的可视化界面

下面说点命令：
第一个 命令 ：
启动集群 三个节点都要执行

./kafka-server-start.sh  ../config/server.properties 

查看主题

./kafka-topics.sh --list --zookeeper hadoop1:2181
结果：
__consumer_offsets
visit3

查看主题详情

[root@hadoop1 bin]# ./kafka-topics.sh --describe --topic visit3 --zookeeper hadoop1:2181
   //这行显示的是 主题名   分区个数  副本数
  Topic:visit3 PartitionCount:4  ReplicationFactor:2    Configs:

  //下面是详细信息
  //这一行说明 主题visit3的分区0  副本位于broker0 和broker2上  learder在broker0上面  之后再详细说明learder和isr是啥
 Topic: visit3  Partition: 0 Leader: 0  Replicas: 0,2   Isr: 0,2

 Topic: visit3  Partition: 1 Leader: 0  Replicas: 1,0   Isr: 0,1

 Topic: visit3  Partition: 2 Leader: 1  Replicas: 2,1   Isr: 1,2

 Topic: visit3  Partition: 3 Leader: 0  Replicas: 0,1   Isr: 0,1

创建主题

创建一个test主题 4个分区  每个分区2个副本
./kafka-topics.sh  --create --topic test --partitions 4 --replication-factor 2 --zookeeper hadoop1:2181
Created topic "test".

删除主题

./kafka-topics.sh --delete --topic test1 --zookeeper hadoop1:2181
Topic test1 is marked for deletion.
Note: This will have no impact if delete.topic.enable is not set to true.
//我在配置中 配置了 直接删 

还有 控制台 起生产者 消费者

./kafka-console-producer.sh  --topic test  --broker-list hadoop1:9092,hadoop2:9092,hadoop3:9092


./kafka-console-consumer.sh --topic test --zookeeper hadoop1:2181