- 博客(5)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Kafka源码编译（kafka0.8.2.2)并用IDEA(2018.3)运行
一： 准备工作 安装JDK(1.8或以上)、Scala（2.11.x）、Gradle 可以参考博客 https://blog.csdn.net/u013256816/article/details/78533725 本机安装如下：二：下载kafka源码解压三：在解压目录下执行gradle idea四：编译成功 产生如下...
2018-12-14 20:57:49
1233
原创 storm使用zookeeper造成事务日志过大的解决方案
storm配置参数：https://blog.csdn.net/Simon_09010817/article/details/81236544其中:supervisor.heartbeat.frequency.secs supervisor心跳发送频率(多久发送一次) 默认为5sworker.heartbeat.frequency.secs worker的心跳...
2018-12-14 18:20:20
2248
原创 storm在zookeeper中心跳流程
storm和zookeeper的数据交互总结：Nimnus和Supervisor之间通过/storm/supervisor/topology-id对应的数据进行心跳保持。Supervisor在创建这个路径时采用的是临时节点模式，只要Supervisor死掉这个节点就会被删除，Nimbus就会将分配给这个Supervisor的任务重新进行分配 Worker和Supervisor之间/s...
2018-12-14 15:42:36
1215
1
原创 storm在zookeeper中的目录存储信息
storm在zk中的目录图：/-{storm-zk-root} -- storm在zookeeper上的根目录(默认为/storm) | |-/assignments -- topology的任务分配信息 | | | |-/{topology-id} -- 这个下面保存的是每个topology的assignments信息包括：...
2018-12-14 13:38:04
1234
原创 Zookeeper事务日志
1.事务日志和快照 ZooKeeper集群中的每个服务器节点每次接收到写操作请求时，都会先将这次请求发送给leader，leader将这次写操作转换为带有状态的事务，然后leader会对这次写操作广播出去以便进行协调。当协调通过(大多数节点允许这次写)后，leader通知所有的服务器节点，让它们将这次写操作应用到内存数据库中，并将其记录到事务日志中。当事务日志记录的次数达到一定...
2018-12-14 13:09:21
934
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人