kafka学习之入门集群搭建

最新推荐文章于 2024-07-04 23:05:10 发布

daydayup9527

最新推荐文章于 2024-07-04 23:05:10 发布

阅读量155

点赞数

文章标签：学习 kubernetes 运维 linux

本文链接：https://blog.csdn.net/weixin_60092693/article/details/124003362

版权

集群搭建

zk搭建

[root@node1 ~]# cat /etc/hosts
192.168.1.11 node1
192.168.1.12 node2
192.168.1.13 node3
[root@node1 ~]# ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
[root@node1 ~]# ntpdate cn.pool.ntp.org
[root@node1 ~]# for i in  node2 node3;do scp /etc/hosts ${i}:/etc/;done

配置

[root@node1 ~]# yum install -y java-1.8.0-openjdk.x86_64 1:1.8.0.262.b10-1.el7
[root@node1 ~]# yum install -y java-1.8.0-openjdk-devel
[root@node1 ~]# tar xf zookeeper-3.4.13.tar.gz
[root@node1 ~]# mv zookeeper-3.4.13 /usr/local/zookeeper
[root@node1 ~]# cd /usr/local/zookeeper/conf/
[root@node1 conf]# cp zoo_sample.cfg zoo.cfg
[root@node1 conf]# vim zoo.cfg
# 配置文件最后添加
server.1=node1:2888:3888
server.2=node2:2888:3888
server.3=node3:2888:3888
[root@node1 ~]# for i in  node2 node3;do rsync -aXSH --delete /usr/local/zookeeper ${i}:/usr/local/;done
[root@node1 ~]# mkdir /tmp/zookeeper		//zoo.cfg配置里定义了位置
[root@node1 ~]# echo 1 > /tmp/zookeeper/myid

起服务

[root@node1 ~]# /usr/local/zookeeper/bin/zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[root@node1 ~]# jps
1159 QuorumPeerMain				//节点必须有

检查状态测试端口情况

[root@node1 ~]# /usr/local/zookeeper/bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Mode: follower
[root@node2 ~]# /usr/local/zookeeper/bin/zkServer.sh status
Mode: leader
[root@node3 ~]# /usr/local/zookeeper/bin/zkServer.sh status
Mode: follower
[root@node1 ~]# telnet 192.168.1.12 2181
Trying 192.168.1.12...
Connected to 192.168.1.12.

kafka

[root@node1 ~]# tar zxf kafka_2.12-2.1.0.tgz
[root@node1 ~]# mv kafka_2.12-2.1.0 /usr/local/kafka
[root@node1 ~]# for i in  node2 node3 ;do rsync -aXSH --delete /usr/local/kafka ${i}:/usr/local/;done
[root@node1 ~]# vim /usr/local/kafka/config/server.properties
21   broker.id=1				#每台不同
123  zookeeper.connect=node1:2181,node2:2181,node3:2181

[root@node1 ~]# /usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties
[root@node1 ~]# jps
1571 Kafka				//节点上都需要启动，都要有
[root@node1 ~]# /usr/local/kafka/bin/kafka-server-stop.sh   //停掉kafka
[root@node4 ~]# cat /opt/kafka/logs/kafkaServer.out   //启动的日志

创建topic验证

[root@node1 ~]# /usr/local/kafka/bin/kafka-topics.sh --create --partitions 1 --replication-factor 1 --zookeeper localhost:2181 --topic msg-1
Created topic "msg-1".

kafka的入门操作
使用消息队列的好处
1）解耦
允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。
2）可恢复性
系统的一部分组件失效时，不会影响到整个系统。消息队列降低了进程间的耦合度，所以即使一个处理消息的进程挂掉，加入队列中的消息仍然可以在系统恢复后被处理。
3）缓冲
有助于控制和优化数据流经过系统的速度，解决生产消息和消费消息的处理速度不一致的情况。
4）灵活性 & 峰值处理能力
在访问量剧增的情况下，应用仍然需要继续发挥作用，但是这样的突发流量并不常见。如果为以能处理这类峰值访问为标准来投入资源随时待命无疑是巨大的浪费。使用消息队列能够使关键组件顶住突发的访问压力，而不会因为突发的超负荷的请求而完全崩溃。
5）异步通信
很多时候，用户不想也不需要立即处理消息。消息队列提供了异步处理机制，允许用户把一个消息放入队列，但并不立即处理它。想向队列中放入多少消息就放多少，然后在需要的时候再去处理它们。

消息队列的两种模式
（1）点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除）消息生产者生产消息发送到Queue中，然后消息消费者从Queue中取出并且消费消息。消息被消费以后，queue 中不再有存储，所以消息消费者不可能消费到已经被消费的消息。Queue 支持存在多个消费者，但是对一个消息而言，只会有一个消费者可以消费。
（2）发布/订阅模式（一对多，消费者消费数据之后不会清除消息）
消息生产者（发布）将消息发布到 topic 中，同时有多个消息消费者（订阅）消费该消息。和点对点方式不同，发布到 topic 的消息会被所有订阅者消费。订阅主动拉，没数据的时候，长轮询浪费资源。发布推送，推送速度一致，消费者能力不足，会出现问题。

Kafka 基础架构

1）Producer ：消息生产者，就是向 kafka broker 发消息的客户端；
2）Consumer ：消息消费者，向 kafka broker 取消息的客户端；
3）Consumer Group （CG）：消费者组，由多个 consumer 组成。消费者组内每个消费者负责消费不同分区的数据，一个分区只能由一个组内消费者消费；消费者组之间互不影响。所有的消费者都属于某个消费者组，即消费者组是逻辑上的一个订阅者。
4）Broker ：一台 kafka 服务器就是一个 broker。一个集群由多个 broker 组成。一个 broker可以容纳多个 topic。
5）Topic ：可以理解为一个队列，生产者和消费者面向的都是一个 topic；
6）Partition：为了实现扩展性，一个非常大的 topic 可以分布到多个 broker（即服务器）上，一个 topic 可以分为多个 partition，每个 partition 是一个有序的队列；
7）Replicate：副本，为保证集群中的某个节点发生故障时，该节点上的 partition 数据不丢失，且 kafka 仍然能够继续工作，kafka 提供了副本机制，一个 topic 的每个分区都有若干个副本，一个 leader 和若干个 follower。
8）leader：每个分区多个副本的“主”，生产者发送数据的对象，以及消费者消费数据的对象都是 leader。
9）follower：每个分区多个副本中的“从”，备份，实时从 leader 中同步数据，保持和 leader 数据的同步。leader 发生故障时，某个 follower 会成为新的 follower。

zk 存储消费位置，消费信息存储在partition上，可设置存储保留时间

[root@node4 ~]# cat /etc/hosts
192.168.1.14 node4
192.168.1.15 node5
192.168.1.16 node6
[root@node4 ~]# yum install -y java-1.8.0-openjdk.x86_64 1:1.8.0.262.b10-1.el7
[root@node4 ~]# yum install -y java-1.8.0-openjdk-devel
[root@node4 ~]# tar xf kafka_2.11-0.11.0.0.tgz
[root@node4 ~]# mv kafka_2.11-0.11.0.0 /opt/kafka
[root@node4 ~]# cd /opt/kafka/
[root@node4 kafka]# ls
bin  config  libs  LICENSE  NOTICE  site-docs
[root@node4 kafka]# mkdir logs
[root@node4 kafka]# cd config/
[root@node4 config]# ls
connect-console-sink.properties    connect-log4j.properties       server.properties
connect-console-source.properties  connect-standalone.properties  tools-log4j.properties
connect-distributed.properties     consumer.properties            zookeeper.properties
connect-file-sink.properties       log4j.properties
connect-file-source.properties     producer.properties
[root@node4 config]# vim server.properties
#broker 的全局唯一编号，不能重复
broker.id=4
#删除 topic 功能使能
delete.topic.enable=true
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘 IO 的现成数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600
#kafka 运行日志存放的路径   存放topic主题数据，建议单独放 
log.dirs=/opt/module/kafka/logs
#topic 在当前 broker 上的分区个数
num.partitions=1
#用来恢复和清理 data 下数据的线程数量
num.recovery.threads.per.data.dir=1
#segment 文件保留的最长时间，超时将被删除
log.retention.hours=168
#配置连接 Zookeeper 集群地址
zookeeper.connect=node4:2181,node5:2181,node6:2181

[root@node4 ~]# vi /etc/profile
...
export KAFKA_HOME=/opt/kafka
export PATH=$PATH:$KAFKA_HOME/bin
[root@node4 ~]# source /etc/profile

[root@node4 ~]# tar xf zookeeper-3.4.13.tar.gz
[root@node4 ~]# mv zookeeper-3.4.13 /opt/zookeeper
[root@node4 ~]# cd /opt/zookeeper/
[root@node4 zookeeper]# ls
bin        dist-maven       lib          README_packaging.txt  zookeeper-3.4.13.jar.asc
build.xml  docs             LICENSE.txt  recipes               zookeeper-3.4.13.jar.md5
conf       ivysettings.xml  NOTICE.txt   src                   zookeeper-3.4.13.jar.sha1
contrib    ivy.xml          README.md    zookeeper-3.4.13.jar
[root@node4 zookeeper]#  cd conf/
[root@node4 conf]# ls
configuration.xsl  log4j.properties  zoo_sample.cfg
[root@node4 conf]# cp zoo_sample.cfg zoo.cfg
[root@node4 conf]# vim zoo.cfg
...
dataDir=/tmp/zookeeper
server.4=node4:2888:3888
server.5=node5:2888:3888
server.6=node6:2888:3888
[root@node4 conf]# cd ..
[root@node4 zookeeper]# mkdir /tmp/zookeeper
[root@node4 zookeeper]# echo 4 >data/myid

[root@node4 ~]# /opt/zookeeper/bin/zkServer.sh start
Starting zookeeper ... STARTED
[root@node4 ~]# /opt/zookeeper/bin/zkServer.sh status
Mode: leader
[root@node4 ~]# jps
1327 QuorumPeerMain

[root@node4 ~]# cd /opt/kafka/bin/
[root@node4 bin]# ls
connect-distributed.sh               kafka-replay-log-producer.sh
connect-standalone.sh                kafka-replica-verification.sh
kafka-acls.sh                        kafka-run-class.sh
kafka-broker-api-versions.sh         kafka-server-start.sh
kafka-configs.sh                     kafka-server-stop.sh
kafka-console-consumer.sh  //测试用   kafka-simple-consumer-shell.sh
kafka-console-producer.sh  //测试用    kafka-streams-application-reset.sh
kafka-consumer-groups.sh             kafka-topics.sh   //topics操作
kafka-consumer-offset-checker.sh     kafka-verifiable-consumer.sh
kafka-consumer-perf-test.sh          kafka-verifiable-producer.sh
kafka-delete-records.sh              windows
kafka-mirror-maker.sh                zookeeper-security-migration.sh
kafka-preferred-replica-election.sh  zookeeper-server-start.sh  //启动用
kafka-producer-perf-test.sh          zookeeper-server-stop.sh   //停止用
kafka-reassign-partitions.sh         zookeeper-shell.sh

[root@node4 bin]# ./kafka-server-start.sh -daemon ../config/server.properties  //不打印日志
[root@node4 bin]# jps
1733 Jps
1672 Kafka
1327 QuorumPeerMain

case $i in
"start"){
	for i in node{4..6}
	do 
	echo   $i  starting 
	ssh $i "/opt/kafka/bin/kafka-server-start.sh -daemon /opt/kafka/config/server.properties"
	done
};;
"stop"){
    for i in node{4..6}
    do 
    echo $ stopping
    ssh $i  "/opt/kafka/bin/kafka-server-stop.sh -daemon /opt/kafka/config/server.properties"
};;
esac

Kafka 命令行操作

/opt/kafka/bin/kafka-server-start.sh -daemon /opt/kafka/config/server.properties
/opt/kafka/bin/kafka-server-stop.sh -daemon /opt/kafka/config/server.properties

1）创建 topic
[root@node4 ~]# kafka-topics.sh --zookeeper node4:2181 --create --replication-factor 3 --partitions 1 --topic  first
Created topic "first".
#--replication-factor 定义副本数，不错超过节点数，--partitions 定义分区数，--topic 定义 topic 名
[root@node4 ~]# ls /opt/kafka/logs/			//每个kafka都有一个，共三个
first-0
##当replication为2，partition为2，可以看到first 0和1两个partition，三个节点总共2组first
##[root@node4 ~]# ls /opt/kafka/logs/
##first-0     first-1   
2）查看topic详细信息
[root@node4 ~]# kafka-topics.sh --describe --topic first --zookeeper node4:2181
OpenJDK 64-Bit Server VM warning: If the number of processors is expected to increase from one, then you should configure the number of parallel GC threads appropriately using -XX:ParallelGCThreads=N
Topic:first     PartitionCount:2        ReplicationFactor:2     Configs:
        Topic: first    Partition: 0    Leader: 6       Replicas: 6,5   Isr: 6,5
        Topic: first    Partition: 1    Leader: 4       Replicas: 4,6   Isr: 4,6
2）查看当前服务器中的所有 topic
[root@node4 ~]# kafka-topics.sh --zookeeper node4:2181 --list
first
3）删除 topic
[root@node4 ~]# kafka-topics.sh --zookeeper node4:2181 --delete --topic first
需要 server.properties 中设置 delete.topic.enable=true 否则只是标记删除。
4）发送消息    9092默认端口
[root@node4 ~]# kafka-console-producer.sh --broker-list node4:9092 --topic first
>hellow
>world
5）消费消息（旧）		2181
[root@node5 ~]# kafka-console-consumer.sh  --topic first --zookeeper node4:2181
world     //node5在输入hellow后启动，只消费到world
[root@node6 ~]#  kafka-console-consumer.sh  --topic first --zookeeper node4:2181  --from-beginning		//--from-beginning  从头消费
hellow
world
新的kafka消费命令
[root@node4 ~]#  kafka-console-consumer.sh  --topic first --bootstrap-server node4:9092
[root@node4 ~]#  kafka-console-consumer.sh  --topic first --bootstrap-server node4:9092 --from-beginning
[root@node4 ~]# ls /opt/module/kafka/logs   
###配置文件定了位置，默认50个offset，
cleaner-offset-checkpoint  __consumer_offsets-28  __consumer_offsets-49
__consumer_offsets-1       __consumer_offsets-31  __consumer_offsets-7
__consumer_offsets-10      __consumer_offsets-34  first-0

6)修改分区数
[root@node4 ~]# kafka-topics.sh --zookeeper node4:2181 --alter --topic first --partitions 6
Adding partitions succeeded!
[root@node4 ~]# kafka-topics.sh --describe --topic first --zookeeper node4:2181
Topic:first     PartitionCount:6        ReplicationFactor:2     Configs:
        Topic: first    Partition: 0    Leader: 6       Replicas: 6,5   Isr: 5,6
        Topic: first    Partition: 1    Leader: 4       Replicas: 4,6   Isr: 4,6
        Topic: first    Partition: 2    Leader: 5       Replicas: 5,6   Isr: 5,6
        Topic: first    Partition: 3    Leader: 6       Replicas: 6,5   Isr: 6,5
        Topic: first    Partition: 4    Leader: 4       Replicas: 4,6   Isr: 4,6
        Topic: first    Partition: 5    Leader: 5       Replicas: 5,4   Isr: 5,4

恢复使用前的状态

关闭，删除 重启，下面的位置配置文件里自定义
rm -rf /opt/module/kafka/logs
rm -rf zookeeper/version-2/

daydayup9527

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
kafka学习之入门集群搭建

集群搭建zk搭建[root@node1 ~]# cat /etc/hosts192.168.1.11 node1192.168.1.12 node2192.168.1.13 node3[root@node1 ~]# ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime[root@node1 ~]# ntpdate cn.pool.ntp.org[root@node1 ~]# for i in node2 node3;do scp /
复制链接

扫一扫