- 博客(5)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 RDBMS分布式两阶段提交与Zookeeper的Paxos同步算法
一 Oracle分布式事务和两阶段提交(2PC)分布式事务是指发生在多台数据库之间的事务，Oracle中通过dblink方式进行事务处理，分布式事务比单机事务要复杂的多。大部分的关系型数据库通过两阶段提交（2 Phase Commit 2PC）算法来完成分布式事务，下面重点介绍下2PC算法。1、分布式事务的组成在分布式事务中，主要有以下几个组成部分：Client：调用其它
2015-08-26 15:32:29
1677
原创 Lambda架构
1. Lambda的组成Lambda组成如下图：query = function(alldata)在该架构中，被读取的数据是不可变的，在并行处理过程中数据会依次进入批处理系统（batch system）与流处理系统。从逻辑上看，传输过程发生了两次，一次是在批处理中，一次是在流处理中。在查询时，当这两者都返回结果后，才算是完成一次完整的查询。Lambda架构的目的是为
2015-08-26 13:46:47
866
原创 CAP定理小议
1. CAP定理分布式领域的CAP定理，即Consistency（一致性）、Availability（可用性)和Partition Tolerance（分区容错性）任何分布式系统只可同时满足二点，没法三者兼顾。Consistency指执行了一次成功的写操作之后，未来的读操作一定可以读到这个写入的值。Availability系统总是可读可写的Partition T
2015-08-24 16:46:00
552
原创 Yarn框架
1. YARN产生的理论基础hadoop 1 将计算Job划分为JobTracker和TaskTracker，JobTracker通过heartbeat机制与跑计算任务的机器通讯，TaskTracker则要肩负两个责任，一是监视所在服务器的资源，二是监视Task运行状况，通过heartbeat通讯汇报这两种状况。造成的问题：JobTracker，集中处理请求带来了单点故障，任务请求增加则资
2015-08-23 22:04:25
539
原创 hadoop压缩算法的总结
1. 压缩成为必须对数据的3个关键特征描述 3V：volume、variety和value。volume，数据量与日俱增，在于智能手机、Internet和感知器等的使用。variety，大数据的数据格式，音频、视频、图像等。value，数据近乎实时的产生以使得有用信息能够服务需要。大数据不仅仅带来了新的数据类型和存储机制，也带来了新种类的数据分析。现在数据增长太快了，数据的
2015-08-23 12:37:33
3643
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人