Kafka集群搭建

Kafka集群搭建

1. 将kafka镜像包解压到/opt/zz下：tar -zxvf  kafka_2.11-1.0.0.tgz  -C /opt/zz
2. 配置环境变量：vim  /etc/profile

#kafka

export KAFKA_HOME=/opt/module/kafka

export PATH=$PATH:$KAFKA_HOME/bin

1. 环境变量生效：source /etc/profile

注意：一定要在本机上生效后再分发不然不成功。

1. 分发：scp  -r  /etc/profile  node2:/etc/profile

Scp  -r  /etc/profile  node3:/etc/profile

1. 分发完成后在其它两个用户上生效一下
2. 进入config修改配置文件：cd  /opt/zz/kafka/config
3. 进入server.properties: vim  server.properties

delete.topic.enable=true需要手动添加其它的都是修改。

1. 创建目录long: mkdir  /opt/zz/kafka  logs
2. 分发：scp -r  /opt/zz/kafka  node2:/opt/zz/kafka

Scp  -r  /opt/zz/kafka  node3:/opt/zz/kafka

1.  在其它两个用户上broker.id改为2和3
2.  启动：先启动zookeeper
3. 进入bin下：./kafka-server-start.sh  /opt/zz/kafka/config/server.properties

可以显示进程。不加./也可以

1. 启动：./kafka-server-start.sh-daemon /opt/zz/kafka/config/server.properties

#daemon守护进程：可以防止节点之间的冲突

1. 查看：jps

1. 三个用户都出现kafka说明成功。

创建topics

1. bin/kafka-topics.sh -–zookeeper localhost:2181 --create --toptic installtopic --partitions 2 --replication-factor 2   
2. ./kafka-topics.sh --create --bootstrap-server 192.168.10.130:9092 --replication-factor 2 --partitions 2 --topic installtopic
3. 2.2前用—zookeeper，2.2之后改为—bootstrap-server

Topics参数及解释

alter         #用于修改主题，包括分区数及主题的配置

config     #<键值对> 创建或修改主题时，用于设置主题级别的参数

create      #创建主题

delete      #删除主题

delete-config  #<配置名称>  删除主题级别被覆盖的配置

describe     #查看主题的详细信息

disable-rack-aware  #创建主题时不考虑机架信息

help        #打印帮助信息

if-exists      #修改或删除主题时使用，只有当主题存在时才会执行操作

if-not-exists  #创建主题时使用，只有主题不存在时才会执行动作

list       #列出所有可用的主题

partitions    #<分区数>   创建主题或增加分区时指定分区数

replica-assignment   #<分配方案>   手工指定分区副本分配方案

replication-factor    #<副本数>  创建主题时指定副本因子

topic               #<主题名称>   指定主题名称

topics-with-overrides    #使用describe查看主题信息时，只展示包含覆盖配置的主题

unavailable-partitions    #使用describe查看主题信息时，只展示包含没有leader副本的分区

under-replicated-partitions      #使用describe查看主题信息时，只展示包含失效副本的分区

zookeeper     #指定连接的zookeeper地址信息（必填项）2.2版本之后取消了

kafka解压包提取：下载地址 

提取码：1771