kafka学习笔记

producer：生产者

consumer：消费者

topics：主题

Partition：分区

kafka brokers：容器存放kafka的节点

replica：副本

leader：每个partition中有多个个副本，其中只有一个是leader其他的是follower

follower：follower跟随leader，数据发生改变时会广播给所有的follower，和leader保持数据同步，如果leader失效会从follower中选举一个新的leader，如果都挂了，卡住或者同步太慢，leader会把这个follower中列表中移除，然后组建一个新的

zookeeper：主要负责协调broker

一个brokers中有一个partition和一个replica

brokers > partition 不然会出现重复消息

安装java：

下载去官网下载需要的jdk，然后上传到服务器，解压

我这提供一个1.8的版本： https://download.oracle.com/otn/java/jdk/8u281-b09/89d678f2be164786b292527658ca1605/jdk-8u281-linux-x64.tar.gz?AuthParam=1616988366_83562fff7a56f93d4add2ecee3e6032d

使用tar -zxvf jdk文件

配置环境变量

命令:vim /etc/profile

进入文本编辑,用按键"shift+g"定位到文件尾,点击’i’ 进入编辑,

另起一行写下如下数据

export JAVA_HOME=（根据自己的完整路径修改）
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

写完后,点击’esc’按钮退出

用命令:wq保存退出

让环境变量生效

执行命令:source /etc/profile

然后执行以下命令验证是否安装成功: java -version

此时就可以看到自己的环境变量已经设置成功了.显示了JDK的版本

安装zookeeper

先去官网下载zookeeper版本：
https://mirror-hk.koddos.net/apache/zookeeper/zookeeper-3.7.0/apache-zookeeper-3.7.0-bin.tar.gz

解压tar -zxvf 你的tar.gz的zookeeper包

解压后进入zookeeper文件，找到conf文件，

进入找到zoo_sample.cfg，将它改名为zoo.cfg，然后进入进行你需要的修改

我这只添加了一个数据文件和日志文件，然后报错退出

进入bin 目录使用sh zkServer.sh start 启动

然后通过jps -l 和 ps -ef | grep zookeeper查看进程

下载安装kafka

进入官网下载需要的版本：https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.7.0/kafka_2.13-2.7.0.tgz

然后上传到服务器解压

进入kafka文件下的config文件，找到server.properties进入相对于的配置

#broker编号，每个broker的编号需要不同
broker.id=0

#broker对外提供的服务地址
listeners=PLAINTEXT://:9092

#kafka消息日志地址
log.dirs=/home/kafka/logs

#kafka所需要的集群地址
zookeeper.connect=localhost:2181

修改后保存退出，进入bin目录

使用：sh kafka-server-start.sh ../config/server.properties启动kafka，

打开一个新窗口使用

查看进程