Web存储系统分为两个主要部分:Master和Storage Team。Master的主要功能是管理整个存储系统,制订存储策略,监视整个系统运行情况。Storage Team的作用是提供存储数据服务。一个Storage Team由若干个Storage Cell组成。一个Storage Cell是一个独立自治的工作单元,提供完整的存储服务。Storage Team中的所有Storage Cell对外提供的服务完全相同,一来可以多备份,提高可靠性;二来可以提高系统并发处理能力。Storage Team中的所有成员根据选举规则选定一个Team Master,Team Master检测Team内部状态信息,并与WSC Master交互,其他Team成语不直接与WSC Master交互。
1. WSC Master 功能WSC Master 的主要功能有:帮助 Storage Team 组态;为 Storage Team 制订存储策略; 持续监测系统运行状态,保证系统可靠性。
2. WSC Storage Team功能
Storage Team由若干Storage Cell组成,作为一个整体对外提供存储服务。对外根据存储策略提供存储、读取等功能。内部需要收集内部信息,通过心跳系统提交给WSC Master,维护内部数据一致性。
3. WSC Storage Team Master功能
Storage Team内部信息提交给WSC Master。
4. WSC Storage Cell功能
WSC Storage Cell是WSC中最小的工作单元,对外提供完整的存储、读取等服务,对内保持与Team Master的心跳,并维护Team内部数据一致性。保证在某些Storage Cell当机重启,或者新增加Storage Cell的时候,数据能够保持一致。
从类的设计角度来看,对于每个网页设计为一个网络对象文件,Web对象文件用来存储单个Web对象,主要包含如下信息:Web对象的url,Web对象的MIME类型,Web对象的下载时间,Web对象预计的过期时间以及Web对象数据。Web对象包文件将若干个Web对象打包存储,用来存储大量Web对象。WOP描述文件用来描述WOP文件信息,将数据对象打包存储与WOP描述信息分开,便于维护、解析与处理。WOP描述文件由以下信息组成:WOP过期基数,指数,过期时间,各个Web对象在WOP中的位置、大小等。