![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka
文章平均质量分 91
claem
22届港硕统计学努力转码 学习爪哇 大数据的个人记录~
展开
-
docker创建 Maxwell容器 并连通Kafka
Kafka集群里生成了topic_db主题目前说明maxwell与kafka连通 但是还没有传输数据,接下来修改mysql指定监控database里的tables,来看看maxwell是否能够将bin-log日志成功传给kafka。干脆想着使用独立的容器单独起一个maxwell算了,开始尝试单独起maxwell然后联通mysql和Kafka。创建的maxwell库里生成了maxwell元数据表说明连接mysql成功!镜像名 启动容器的时候终端需要执行的命令(即启动maxwell进程)原创 2024-05-28 22:18:30 · 1119 阅读 · 0 评论 -
Kafka集群直接通信原理
每台Kafka节点支持对数据进行分区/副本存储,所以每台节点上存在管理数据/副本的manager,即replicationManager(副本管理器),LogManager(日志管理器 因为Kafka早起就是做日志信息存储的所以用这个名称管理数据),每台节点里存的分区数据只有在该节点上访问才允许读写操作,其他节点存储该节点的副本无法读写,即副本分为Leader和Follower,Leader就是存在本节点的数据,follower就是存在其他节点上的副本。原创 2024-05-20 18:28:44 · 1125 阅读 · 0 评论 -
Mac Docker容器里基于centos自定义镜像 配置kafka (模拟Linux环境配置kafka)
这周结束了Spark-core,Spark-sql,Spark- stream的学习,发现到后期的案例实践需要用到Kafka和zookeeper,首先在网上搜了一下docker 配置kafka和zookeeper,发现有直接配置镜像的,即kafka,zookeeper单独搞个镜像,跟着步骤配置成功了但是和集群的联系比较拉,特别是我已经把Hadoop和spark集群配置好了,自定义的镜像模拟了Linux环境,干脆直接把Kafka和zookeeper也加进去。接下来 Kafka 启动!原创 2024-05-18 18:02:34 · 1118 阅读 · 0 评论