云计算架构的知识


联机事务处理OLTP(On-line Transaction Processing)
联机分析处理OLAP(On-line Analytical Processing)

hadoop
bigtable
nosql

同构系统:
 一组master-slave存放有相同的数据,单点故障只能从所在机器组的节点恢复. 1-1备份,多1倍的机子。
异构系统:
 减少成本,快速增长
 数据被动态分配到集群中的任意一个节点

云存储的数据结构:

1)分布式hash表
   通过一致性hash将数据随机分布,支持范围查询
   Amazon Dynamo,S3,Simpledb

2)分布式B+树
   连续存放,支持范围查询,需要通过分裂和合并实现
   单层系统 MICROSOFT SQL AZURE
   多层系统 Google GFS&BIG TABLE,Megastore
            Yahoo PNUTS
   动态、静态数据分离 TAOBAO Oceanbase
   
3)分布式hash表
  Amazon Dynamo,S3:
   数据结构  key-value
   仅支持 PUT GET DELETE操作
  Amazon Simpledb :
   按照domain进行数据划分,限制在10GB内

4)Google云存储
  a)分布式文件系统GFS 带追加功能
  b)分布式数据库系统BigTable 将事务日志追加到GFS,
    BIGTABLE内部数据连续存储,逻辑上构成分布式B+树
  c)Megastore,percolator在bigtable上实现了分布式事务、索引、sql查询
   缺点:分层过多,延迟大,开发难度大
5)SQL Azure
    对sql server进行了分布式扩展
    缺点:不支持sql azure实例的分裂和合并
6)yahoo pnuts没有对外提供云存储服务

7)云存储系统的难点在于状态数据的迁移和持久化
  状态数据:系统的事务提交日志
  google bigtable 用gfs实现日志持久化
  sql azure 直接提交日志到数据的副本所在地
  pnuts通过yahoo!message broker中间件持久化日志


8) Apache Hadoop的HBase,或者Facebook的cassandra

淘宝oceanbase
1)目的: 淘宝内部在线业务的云存储问题
2)设计系统需要考虑现在及未来一段时间的需求
3)  RootServer:负责数据定位、机器管理、负载均衡、全局表Schema信息管理等。
    UpdateServer:负责存储动态数据,存储介质为内存和SSD。
    ChunkServer:负责存储静态数据,数据存储3份,存储介质为磁盘或者SSD。
    Client:Oceanbase提供的胖客户端。

4)读操作要读updateserver与chunkserver,写操作只需向updateserver写入即可
  updateserver采用实时同步的强一致性,只有主备机都操作成功才返回客户端
  静态数据的存储格式为sstable表,数据划分为最大几百MB的子表
  通过以下3种方式优化
  bloom filter,block cache,key-value cache
 
5)sstable支持按列组排序
动态数据采用cow(copy on write)实现单击内存b+树,单写多读不需加锁
6)静态数据形成分布式b+树
  动态数据为单机b+树
7)支持自动负载均衡,在线修改schema、内置压缩解压缩




不懂的概念:
1) QPS TPS  qurey per second   transaction(insert update delete) per second
   磁盘的IOPS
2) 范围查询
3)Linux HA方式      双击热备份?
4)随机读 随机写


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值