linux kafka安装配置

简述

Kafka 官网：http://kafka.apache.org/
Kafka下载地址：http://kafka.apache.org/quickstart
Kafka 其实是一个分布式流处理平台，但是由于它拥有这样几个功能让它变得独特

1. 消息流订阅和发布
2. 消息流处理
3. 分布式流存储

安装

安装准备

kafak 安装前需要准备 jdk环境，zookeeper环境

安装、配置

## 添加环境变量
vi /etc/profile
## 添加【①】
source /etc/profile

# 修改Kafka 的配置文件 server.properties【②】
vim /usr/local/kafka_2.12-2.1.0/config/server.properties
## 前天启动kafka
kafka-server-start.sh config/server.properties
## 后台启动kafka
kafka-server-start.sh -daemon config/server.properties

# 检查是否成功
jps -l
netstat -ntlp

## 创建一个topic
kafka-topics.sh --create --zookeeper 129.211.92.188:2181 --replication-factor 1 --partitions 1 --topic test
## 查看消息主题列表
kafka-topics.sh --list --zookeeper 129.211.92.188:2181
## 查看topic 信息
kafka-topics.sh --zookeeper 129.211.92.188:2181 --describe --topic test
## 删除topic 
kafka-topics.sh --zookeeper 129.211.92.188:2181 --delete --topic test
## 创建生产者 （新开一个终端执行）
kafka-console-producer.sh --broker-list 129.211.92.188:9092 --topic test
## 创建消费者 （新开一个终端执行）
kafka-console-consumer.sh --bootstrap-server 129.211.92.188:9092 --topic test --from-beginning

【①】 /etc/profile 添加 kafka环境变量

export KAFKA_HOME=/usr/local/kafka_2.12-2.1.0
export PATH=$PATH:$KAFKA_HOME/bin

【②】修改Kafka 的配置文件 server.properties

# broker 的编号，如果集群中有多个broker,则每个broker 的编号要设置的不同
broker.id=0
# 侦听器列表——我们将侦听的uri及其协议的逗号分隔列表
# listeners的合法配置类型例如: PLAINTEXT://myhost:9092,TRACE://:9091 PLAINTEXT://0.0.0.0:9092, TRACE://localhost:9093
listeners=PLAINTEXT://:9092
# 存放消息的日志文件
log.dirs=/tmp/kafka-logs/
## 外网访问的地址 171.220.211.158 为往外网ip （也可是使用外网域名）
advertised.listeners=PLAINTEST://171.220.211.158:9092
## 或者使用host  hostname为在/etc/hosts 配置171.220.211.158 hostname
advertised.listeners=PLAINTEST://hostname:9092
# kafka所需要的Zookeeper集群地址 
# zookeeper.connect=localhost:2181/kafka

使用

未做ack时的消息进度 CURRENT-OFFSET 一直未0

参考

Kafka在Linux Centos7服务器上的安装与配置
kafka外部访问设置
Connection to node -1 (/ip:9092) could not be established. Broker may not be available 错误解决
Kafka的partions和replication-factor参数的理解