- 博客(7)
- 收藏
- 关注
RSS订阅原创 docker-compose部署zk+kafka+storm集群
比如storm配置：- "./storm.yaml:/conf/storm.yaml" 但是映射后如果本地没有正确格式的storm.yaml就会启动失败，除了去官网下载安装包拿到其配置文件以外，可以先启动一个临时容器并拷贝其配置文件到宿主机。"/var/run/docker.sock:/var/run/docker.sock" 此条映射关系是单机模式下使用，我们采用的是远程api调用，因此可以不加。为容器启动后自定义的host映射，这样ui页面启动后才能通过注册上来的别名host对应到真正的ip地址。
2023-12-17 16:45:45
40
1
原创 Kafka两种集群详解和搭建教程
无论是那种模式的集群，我们都涉及到了许多配置项，大家通过上述的搭建示例也能够了解到每个配置项的意义，这里就专门来着重介绍一下，Kafka中一些重要的配置项。本文介绍了Kafka的两种集群模式结构及其搭建方式，其中一些概念尤其是KRaft模式可能需要大家多读几遍，并结合实际操作才能明白。
2023-12-17 16:40:27
230
1
原创 kafka入门
java复制代码> configs) { } @Override public int partition(String topic, Object key, byte[] keyBytes, Object value, byte[] valueBytes, Cluster cluster) { //key不能空，如果key为空的会通过轮询的方式 选择分区 if(keyBytes == null || (!
2023-12-17 16:32:07
89
1
原创 使用 Docker-compose 搭建 Zookeeper 集群
ZOO_MY_ID 和 ZOO_SERVERS 是搭建 ZK 集群需要设置的两个环境变量, 其中 ZOO_MY_ID 表示 ZK 服务的 id, 它是1-255 之间的整数, 必须在集群中唯一。ZOO_SERVERS 是ZK 集群的主机列表。可以看到 zoo1 和 zoo2 为当前集群的 follower，zoo3 为当前集群的 leader。改为 zookeeper:3.4.11 问题解决。
2023-12-17 16:27:18
116
1
原创 zookeeper集群搭建
zookeeper服务器会产生三类日志：事务日志、快照日志和log4j日志。在zookeeper默认配置文件zoo.cfg（可以修改文件名）中有一个配置项dataDir，该配置项用于配置zookeeper快照日志和事务日志的存储地址。在官方提供的默认参考配置文件zoo_sample.cfg中，只有dataDir配置项。其实在实际应用中，还可以为事务日志专门配置存储地址，配置项名称为dataLogDir，在zoo_sample.cfg中并未体现出来。
2023-12-17 16:21:23
62
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人