总时长 12:31:00 共96
此文章包含第1p-第p6的内容
这里需要Hadoop的前置知识
简介
定义
分主题进行订阅 消费者自己选择自己需要的主题进行接收 速度按自己的来
消息队列
异步,解耦,削峰
消息队列的两种模式
不删除 后期kafka/消息队列会自己主动 控制什么时候进行删除
一般都使用发布订阅模式
基础架构
数据太多 一台服务器一般也就8T到96T 放不下100T的数据
一个分区的数据由一个消费者来消费
同一个消费组,不允许消费同一个分区
加副本
2.8.0之后逐渐抛弃zookeeper 改用Kraft 但是两种都可以
快速入门
解压
生产者 主题 消费者 三个框
配置信息
libs 第三方jar包
配置server.properties
- 唯一标识
- 存储kafka对应的数据的地方
- zookeeper的端口
也就是说不同的集群就一个目录就行了
不学hadoop的可以先去hadoop教程搭个环境再回来,没多久!
分发kafka
xsync kafka
xsync 是之前写的脚本 对其他两个服务器进行分发
分发完给另外两个服务器的这个文件进行修改id
修改环境变量
这个脚本是Hadoop时写的
source