moreframe

如何在streaming server上做到好的性价比, 稳定性, 可扩展性, 不是一件容易的事情. 比较流行的作法是集群式的client/server结构, 这其中包括存储和运算分离, 即存储用磁盘柜, 运算集中一组高性能单板上, 中间和外围用高性能交换设备进行连接; 另一种是存储和运算绑在一起, 即存储被分割成小单元, 每一个存储单元都具备运算特性, 既可以提供存储业务, 也提供流业务, 这种

上一节谈到cpu板以5000元来算, 也许觉得奇怪, 这做得到吗? 这里有个前提要记住的是: 单板支持200并发流(以2.5Mbps为平均码率). 好, 这样性能规格的cpu板可否用5000元做到, 答案是肯定. 我认为, 无论用PPC还是x86, 这其中都是有较大余地的.总结一下: 目前以单板成本为基础, 计算了一下per stream和per GBytes storage的成本. 但这还不

应该说分布式的文件系统种类繁多, 但是各有其利弊, 对特定的业务和需求, 我认为专用的FS可以发挥其最好的性能. 如前面提到, 用少于5000元的cpu板, 再加上单板上绑定5000元的storage. 用这样的单板来构建一个可以提供流和存储的cluster. 尽管有很高的成本优势, 但从FS的设计和实现角度来看, 会有什么问题呢?1. Fault tolerance. 物理部件的故障不可避免

作为一个集群式的文件系统，cache管理的必要性不言而谕，在此就不做诠释了。主要概述一下设计思想。其cache管理由两部分构成：cache manager(CM)和cache agent(CA)。CM位于service master上，CA位于每个流业务单元板(SSU)上。CM负责跟踪所有CA报上来的cache使用情况，主要是承担策略管理的角色，包括cache热度跟踪，load balance

上一节概述了相关的需求和特征，说的不多，但每一点都包含着丰富的设计思想，大家可能会说，从外面看起来，这和传统的分布式文件系统，比如Andrew FS, Google FS没有多大的区别。有这种想法，可以理解，毕竟在上述章节中，确实还没有看出什么不同的东西来。在这一节里，将概述不同的设计思想(普通的分布式FS v.s. 专用的媒体流分布式FS)是如何体现的。1. 块IO层的独立性可以灵活采用