2014年03月_convay

原创分布式数据库【4、可用性、CAP原理、BASE原理】

本文重点分析、研究分布式数据库的可用性

2014-03-29 22:21:34 1993

原创分布式数据库【3、关于持久消息的应用背景、及2PC的关系、并发控制】

我们知道，2PC容易在协调器失效的情况下容易产生阻塞，也就是2PC提交的阻塞问题是不能够接受的；另外一种解决方案是采用持久消息persisent msg来解决问题；场景分析：1、2个银行的转账操作，一种方案是采用分布式事务，然而该事务容易产生阻塞问题；另外一种方案是采用支票进行转账；银行A首先从可用的余额内扣除支票金额，然后派送支票，然后银行B接受支票，更新可用余额，支票则形成了一次消息传

2014-03-25 22:47:54 929

转载关于垂直切分Vertical Sharding的粒度

原文地址 http://blog.csdn.net/bluishglc/article/details/6274841垂直切分的粒度指的是在做垂直切分时允许几级的关联表放在一个shard里．这个问题对应用程序和sharding实现有着很大的影响．关联打断地越多，则受影响的join操作越多，应用程序为此做出的妥协就越大，但单表的路由会越简单，与业务的关联性会越小，就越

2014-03-24 23:33:14 772

转载数据库分库分表(sharding)系列(五) 一种支持自由规划无须数据迁移和修改路由代码的Sharding扩容方案

原文地址http://blog.csdn.net/bluishglc/article/details/7970268作为一种数据存储层面上的水平伸缩解决方案，数据库Sharding技术由来已久，很多海量数据系统在其发展演进的历程中都曾经历过分库分表的Sharding改造阶段。简单地说，Sharding就是将原来单一数据库按照一定的规则进行切分，把数据分散到多台物理机（我们称之为Shard)上存

2014-03-24 23:28:18 1274

转载数据库分库分表(sharding)系列(四) 多数据源的事务处理

本文原文链接：http://blog.csdn.net/bluishglc/article/details/7793172 转载请注明出处！系统经sharding改造之后，原来单一的数据库会演变成多个数据库，如何确保多数据源同时操作的原子性和一致性是不得不考虑的一个问题。总体上看，目前对于一个分布式系统的事务处理有三种方式：分布式事务、基于Best Efforts 1PC模式的事务以及事务补偿

2014-03-24 23:24:46 893

转载数据库分库分表(sharding)系列(三) 关于使用框架还是自主开发以及sharding实现层面的考量

本文原文连接: http://blog.csdn.net/bluishglc/article/details/7766508 转载请注明出处！当团队对系统业务和数据库进行了细致的梳理，确定了切分方案后，接下来的问题就是如何去实现切分方案了，目前在sharding方面有不少的开源框架和产品可供参考，同时很多团队也会选择自主开发实现，而不管是选择框架还是自主开发，都会面临一个在哪一层上实现shar

2014-03-24 23:22:46 769

转载数据库分库分表(sharding)系列(二) 全局主键生成策略

本文原文连接: http://blog.csdn.net/bluishglc/article/details/7710738 ,转载请注明出处！第一部分：一些常见的主键生成策略一旦数据库被切分到多个物理结点上，我们将不能再依赖数据库自身的主键生成机制。一方面，某个分区数据库自生成的ID无法保证在全局上是唯一的；另一方面，应用程序在插入数据之前需要先获得ID,以便进行

2014-03-24 23:20:16 902

转载数据库分库分表(sharding)系列(一) 拆分实施策略和示例演示

本文原文连接: http://blog.csdn.net/bluishglc/article/details/7696085 ,转载请注明出处！第一部分：实施策略图1.数据库分库分表(sharding)实施策略图解(点击查看大图)1.准备阶段对数据库进行分库分表(Sharding化)前，需要开发人员充分了解系统业务逻辑和数

2014-03-24 23:17:30 1042

转载数据库Sharding的基本思想和切分策略

原文出处，http://blog.csdn.net/bluishglc/article/details/6161475一、基本思想 Sharding的基本思想就要把一个数据库切分成多个部分放到不同的数据库(server)上，从而缓解单一数据库的性能问题。不太严格的讲，对于海量数据的数据库，如果是因为表多而数据多，这时候适合使用垂直切分，即把关系紧密（比如同一模块）的表

2014-03-24 23:12:07 840

原创分布式数据库【2、两阶段提交协议2PC】【部分转载】

2PC，保障分布式事务原子性，既在所有站点上要么全部commit，要么全部abort，回滚；2PC：实现分布式事务的关键就是两阶段提交协议。在此协议中，一个或多个资源管理器的活动均由一个称为事务协调器部件来控制。step如下：1、应用程序调用事务协调器中的提交方法事务协调器（transaction coordinator）将联络事务中涉及的每个事务管理器（transaction

2014-03-24 23:05:18 7499

原创分布式数据库【1、主要背景与概念】

一、概念同构分布式数据库、异构分布式数据库；

2014-03-24 22:36:59 2813

原创数据库事务的概念、理解【为了理解nosql】

一、事物的几个特征：ACID属性原子性：事务的所有操作要么全部执行，要么全部不执行（注：一个事务包括多个操作，可有SQL编程决定）；（注：转账操作）；一致性：隔离（单独）执行事务时，保持数据库的一致性；（如果一个事务作为原子从一个一致的db状态开始执行，则事务执行结束后，db必须仍然是一致的）【确保单个事务的一致性是程序员应该考虑的问题】隔离性：每个事务执行时，都无法感知到DB内其他事

2014-03-23 21:20:56 1057

原创关于位图索引

主要谈谈位图索引；位图索引主要是为多码上的简单查询建立的特殊索引，利用计算特征（and、or）等；典型案例：1、table，包括id、name、gender、income；gender取值包括male、female；income取值在某个区间内如1000-10000； 1232 sun male 19001128 wang female 21

2014-03-23 20:08:16 1107

原创关于DB索引、一致性哈希算法的思考（我认为都是解决伸缩性的问题）

关于一致性哈希算法的背景：解决通过程序伸缩增加分布式缓存节点产生的数据命中率急剧降低、并可能产生大量对DB直接操作的压力，可能导致DB宕机；数据库建立索引是常见场景，包括哈希索引、位图索引；但是DB建立索引必须要考虑代价问题：必须要考虑insert 、update、delete 操作对index的影响，也就是“系统影响”；那么我们来看，上述问题产生的背景均是考虑如何解决新增

2014-03-23 19:53:47 1224

转载四层七层负载均衡

四层和七层负载均衡的区别介绍简单理解四层和七层负载均衡:①所谓四层就是基于IP+端口的负载均衡；七层就是基于URL等应用层信息的负载均衡；同理，还有基于MAC地址的二层负载均衡和基于IP地址的三层负载均衡。换句换说，二层负载均衡会通过一个虚拟MAC地址接收请求，然后再分配到真实的MAC地址；三层负载均衡会通过一个虚拟IP地址接收请求，然后再分配到真实的IP地址；四层通过虚拟I

2014-03-21 00:36:38 1013

原创关于集群软件【部分转载】

集群主要有三个目的，1,高性能计算，有pbs, mpi等2,负载均衡， LVS等3,高可用性(冗余备份), heartbeat等

2014-03-20 21:28:26 757

原创数据建模-实体联系的设计问题

问题：1、使用实体集还是使用属性？作为instuctor的属性phone（注：可能具备多个phone number），那么我们使用phone作为instructor的一个属性？？or 新建实体集phone（phone，location），并增加联系集inst_phone(instID,phonenum)该种情况下使用实体集更具备通用性；（当然，可以使用属性的设置集合方式）；Q：什么

2014-03-17 22:16:22 893

sunwenq的专栏