- 博客(6)
- 收藏
- 关注
RSS订阅原创 参考zookeeper- zab协议实现的一致性选举算法
哎呀，zab协议就不详述啦，人也比较懒，直接给出代码哈~目前测试还行，可以在秒级内恢复集群的可使用性。1.26修改：低编号机往高编号机器建立链接的重复链接检测导致集群恢复阻塞的修改fastLeaderElection.h/* 快速选举算法实现 及 角色管理 1.LOOKING 选举及发现leader 2.leader 同步follower数据、发现fo...
2018-12-25 19:13:44
276
原创 bigtable设计浅析和疑问
bigtable 为google开发的大型分布式表格系统，为最早期的模型设计。作为一种了解大数据存储和访问的指引了解大数据处理的逻辑。简述其基本构架图示如下：chubby ：可以理解为控制中心。及所有访问机械如客户端接入根表 ：bigtable数据检索区。第一级缓冲索引区元数据表：二级缓冲索引区实体数据表：为实际存储数值的表区域可以这么假设理解：bigtable部署在100台机器上的...
2018-02-15 22:44:17
923
原创 以信号实现线程的有效调度
针对于现在程序设计线程调度要么mutex ，要么condition。然后一个程序那数不清的多少个锁，在现如今大数据高速处理程序中，不说容易出现死锁或者各种问题。性能损耗就是一大损失。 消耗时间 举几个数据：访问L1 cache 0.5ns 访问...
2018-02-13 21:34:46
215
原创 浅析avro序列化和反序列化源码及提供两种数据序列存储思路
以hadoop的avro实现原理做引子：varo的测试样例程序#include <complex>#include "avro/Encoder.hh"#include "avro/Decoder.hh"#include "avro/Specific.hh"namespace avro {template<typename T>struct codec_tra...
2018-02-13 11:21:31
1720
3
原创 以raft协议为基础的模拟zoomkeep选举唯一主机实现
1.模拟zoomkeep架构实现，以raft协议实现唯一主句推举2.应用将原有单进程事务分离，在唯一主机做主要业务逻辑，次要业务分离在非主机器运行3.以tcp长链接建立链接。4.主机的三种角色leader（唯一主机），candidate（候选者，在主机宕机的时候，追随者转换角色，尝试获取主机权限），follower（追随者，接受leader推送的指令）5.协议基本过程。机器启动 向
2018-01-28 14:24:17
659
原创 以红黑树为基础实现大数据聚类、有序的存储管理
画图说明什么的太累了 直接看源码吧1.以红黑树为基础，聚类存储数据2.红黑树节点以rb_tree_leaf 结构存放数据块，结构体rb_tree_leaf 成员data 以泛型形式指向实际数据块3.红黑树排序规则可设置4.存储数据块以__VecQue模板实现，内部实现二分顺序存储规则。数据逻辑规则可设置testmain.cpp #include <s...
2018-01-26 23:45:41
1947
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人