kafka安装

---

前言

上篇介绍完了kafka基本概念，目前介绍一下kafka的安装

一、单机安装

1. 上传tar到指定目录
   
2. 解压文件：tar -zxvf kafka_2.11-2.1.0.tgz
   
3. 剪切文件到指定目录
   mv kafka_2.11-2.1.0 /usr/local/kafka
4. 进入/usr/local/kafka/config
5. vi server.properties
   broker.id：单机节点默认是0，第二个节点是1，第三个是3依次类推。
   listeners：监听ip和端口
   listeners=PLAINTEXT://127.0.0.1:9092，云服务器需要写成本地的内网ip或者重新配置主机名为0.0.0.0表示绑定所有的网卡，不然网卡过多无法连接
   advertised.listeners：节 点的主机名会通知给生产者和消费者，如果没有设置，它将会使用"host.name"的值（前提是设置了host.name），否则他会使用java.net.InetAddress.getCanonicalHostName()的返回值
   advertised.listeners=PLAINTEXT://公网IP:9092
   zookeepe连接:
   zookeeper.connect=127.0.0.1:2181,或者内网ip
   log.dirs：数据目录
   
6. 启动kafka

./kafka-server-start.sh   -daemon ../config/server.properties

二、集群安装

1.修改配置文件

# 设置broker的id，每台机器的broker不同
broker.id=1
# 因为此处使用阿里云，所以需要配置上外网地址
host.name=内网地址
advertised.host.name=外网地址

message.max.byte=5242880
default.replication.factor=2
replica.fetch.max.bytes=5242880

# 设置zookeeper集群连接端口
zookeeper.connect=106.15.95.37:2181,47.99.197.133:2181,106.12.42.149:2181

简单操作

创建主题

# 创建两个副本，一个分区的主题spy
./kafka-topics.sh --create --zookeeper 106.15.95.37:2181 --replication-factor 2 --partitions 1 --topic spy

查看

[root@izbp1a2dsv8lw7ik396vokz bin]# ./kafka-topics.sh --list --zookeeper 106.15.95.37:2181
spy

创建提供者

./kafka-console-producer.sh --broker-list 106.15.95.37:9092 --topic spy

创建消费者

./kafka-console-consumer.sh --bootstrap-server 106.15.95.37:9092 --topic spy

详细

./kafka-topics.sh --zookeeper 106.15.95.37:2181 --describe

PartitionCount ：分区数量
ReplicationFactor：副本数量
Partition：当前分区
Leader：broker.id
Replicas：副本的broker.id
Isr：选举使用的broker.id

删除主题

./kafka-topics.sh --bootstrap-server 106.15.95.37:9092 --delete --topic spy

查看kafka消费组

./kafka-consumer-groups.sh --bootstrap-server ip:9092 --list

查看特定消费组信息：

./kafka-consumer-groups.sh --bootstrap-server ip:port --describe --group console-consumer-49781

安装中问题

如果部署到云服务器，注意修改安全组中配置规则，以及内外网的转换。否则会出现org.apache.kafka.common.errors.TimeoutException异常。

zookeeper集群安装