不同的数据中心之间的数据同步方案 设想

1. 数据的分布式存储与计算应该是基于一个数据中心内的,即使用户参与的计算也应该是基于区域内的,例如南北两个数据中心。
2. 数据应该与数据的管理信息(Meta)内容应该是分开存放的,因为meta(数据的唯一标识,路径或者key,大小,更新时间,增量更新的长度与内容)数据的量非常小,对meta信息的南北同步可以在非常短时间内来完成,通过对meta的定期扫描可以对数据做增量的更新,然后对meta对应的数据南北的同步,只要指定的数据同步完成后,再更新meta的信息。meta数据的最终一致可以在比较短的时间内完成.
3. 数据的管理应该由两部分结成,一部分是数据的存储(例如hadoop的hdfs),其次是使用数据库格式(例如HBase)来管理meta数据信息.
4. 只有不断的在不同服务区域内来回切换的用户才会涉及到迫切的南北数据同步问题,针对这样的用户在有数据同步请求时,可以对该用户的数据来进行高优先级的同步,同步可以由南北数据中心之间的直接同步,也可以由N多的用户中转站来实现,这些注册的用户在充分利用带宽的之余也获得了直接的收益.
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值