研究了已经部署的和试验中的网络内部存储系统,描述了这些系统在DECADE中的可参考性。
1. 概述
DECADE(DECoupled Application Data Enroute)是一个架构,用来提供给应用程序访问网络内部存储的能力。从而使得内容分发应用程序能够减少对网络架构的负担,特别是在最后一跳上的负担。DECADE的一个主要推动力是高容量和低成本的网络存储设备。网络内部存储的实例是支持网页和P2P内容的缓存。和现有的内容缓存不同的是,DECADE允许应用程序对其在网络内部缓存的访问控制,还有对缓存访问时的资源设定。
2. 研究概述
网络内部存储很早就被应用在很多场景中,用来减少网络通信负载和增加网络上内容分发的效率 。本部分讲述的是内容分发技术的大致历史并阐述了DECADE与这些技术的关系。
在早期的互联网阶段,大多数的Web内容被存储在中心服务器上,请求者从中心服务器上获取Web内 容。中心服务器需要提供很大的带宽和处理能力去响应这些请求。这样中心服务会变得容易超载而宕机。Web缓存通过存储常被请求的内容,提供访问带宽给用户。
但是随着新媒体服务的诞生,例如音频和视频流的发送,其中有公共的也有商业化的,即其中有的是公共的有的是收费的。带宽的需求越来越大。
为了应对这个新需求,仅仅只是设置更多的Web缓存是不够的。需要把内容移到离用户更近的地方,从而来提升网络效率,改进Qos,减少时延。其中CDN是一个比较有代表性的技术。CDN技术的基础是大规模分布式地部署在网络边缘,从而提供高效的内容包括多种形式的多媒体内容的分发。
虽然CDN能够有效的提升信息的访问和分发效率,但是有CDN有两个缺点:费用问题和内容一致性问题。部署公共的CDN是十分昂贵的。需要对分布在不同地方拥有存储能力的节点有管理控制能力。CDN具有扩展性,但是由于其需要监管和费用较高的问题,导致并没有快速的向普通用户应用。
P2P技术的出现和成熟为很多网络应用程序带来了巨大影响。P2P使得能够利用客户端的资源,包括CPU、内存、存储和带宽资源来进行内容服务。这能够降低对内容提供者资源的要求。通过多种P2P或节点协助架构能够大大减少多媒体内容分发对CDN和中心内容服务器的依赖。但是P2P的大量应用却导致了ISP网络中通信量的增加,增加了网络负载。P2P缓存用来减少这个负面影响,虽然P2P缓存能够有效减少部分区域ISP网络的通信量,但是却有缺点。其显著缺点就是依赖于应用程序,P2P应用协议之间不能很好兼容和更新。同时,P2P缓存不能有效的对网络中的存储进行控制。
DECADE希望提供统一的标准接口从而使得P2P应用程序和内容提供商能够利用网络存储去减少ISP网络中的流量,同时使得P2P应用能够控制对其在网络中存储的访问。
3.网络内部存储系统的组成部分
(1)数据访问接口:允许用户对网络中存储进行操作,例如读、写等。
(2)数据管理操作:提供给用户对存储内容的管理,例如删除和移动等。
(3)数据查询能力:能够检索或枚举出存储的内容。允许用户查询特定时间端某个特定机器上的存储内容列表。
(4)访问控制授权:网络存储系统在存储或返回内容之前会检查用户的权限。有三种访问控制权限:完全公开的,有限制的公开和私有的。完全公开是针对所有用户公开;有限制的公开是是针对特定的用户群,例如针对特定地区或者网络;私有指的是内容只对一个或多个用户开放,需要私有凭证。在一个应用场景中可能有多种访问控制模式,例如对对于某个内容,其读能力是完全公开的,但是写能力确实私有的。
(5)资源控制接口:用户能够管理网络存储中能够被其他用户利用的带宽或其连接属性。
(6)发现机制:寻找网络内部存储,找到相应接口,包括访问接口、资源控制接口等其他接口。
(7)存储模式:有三种典型的存储模式:文件系统、基于对象的和基于块的。
文件系统通常是分等级的树状结构。基于对象的存储模式只是存储数据而没有相应的元数据结构。基于块的模式中,包含了块的序列号和偏移。