kafka学习笔记-初始kafka

kafka学习笔记-初识kafka

一、纠正误区

​ kafka并不只是大家平时所认为的消息系统，在官网的介绍中又说到：“A distributed streaming platform”–一个分布式流媒体平台。kafka是基于zookeeper的分布式消息系统。

​ kafka具有：

• 高吞吐率
• 高性能
• 实时
• 高可靠等

二、安装kafka

​ 官网下载地址：http://kafka.apache.org/downloads

​ 下载完毕后将该压缩包放入服务器的自定义kafka目录下，执行

tar -zxvf kafka_2.11-2.4.0.tgz # 版本根据自己下载的来

​ 安装完毕后，进入到该目录下的config中，修改server.properties配置

vim ./config/server.properties

​ 在这个配置中，我们仅需要修改如下配置：

# 每一个broker在集群中的唯一表示，要求是正数，kafka及其根据id来识别broker机器。当该服务器的IP地址发生改变时，broker.id没有变化，则不会影响consumers的消息情况
broker.id=0

# 端口号，默认为9092
port=9092

# 监听器，为若干个逗号分隔的三元组，每个三元组的格式为<协议名称，主机名，端口号>，PLAINTEXT表示明文传输
listeners=PLAINTEXT://:9092

# 表示宣称的、公布的。生产者或者消费者在外网环境时，需要添加的配置。是暴露给外部的listeners，如果没有设置，会用listeners
advertised.listeners=PLAINTEXT://xxx.xxx.xxx.xxx:9092

# zookeeper集群的地址，可以是多个，多个间同样用","分割
zookeeper.connect=localhost:2181

三、使用kafka

修改完配置之后就可以正常的创建topic、发、收消息了，常用命令如下：

# 启动kafka，如果没设置环境变量，就进入到kafka的目录下执行
bin/kafka-server-start.sh config/server.properties &
# 停止kafka
bin/kafka-server-stop.sh
# 创建topic，xxx-topic为你创建的topic名
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic xxx-topic
# 查看已创建的topic信息
bin/kafka-topics.sh --list --zookeeper localhost:2181
# 发送消息
bin/kafka-console-producer.sh --broker-list xxx.xxx.xxx.xxx:9092 --topic xxx-topic
# 接收消息，xxx.xxx.xxx.xxx为所配置的监听器主机名
bin/kafka-console-consumer.sh --bootstrap-server xxx.xxx.xxx.xxx:9092 --topic xxx-topic --from-beginning