一种为上而生的网络服务:内容存储网络CSN

内容存储网络(Content Storage Network,简称CSN)是与内容分发网络(Content Delivery Network,简称CDN)相对应的概念。CDN是在终端和中心之间的缓存,在让终端更快获取数据的同时,减轻中心的压力。如果说,CDN是一种为下而生的网络服务,那么,CSN就是为上而生的网络服务,帮助用户总是能够就近存储数据,同时可以从任何资源池读到数据,而且保证强一致性。

2021年,全球内容流量技术和运维领域最重要、规模最大的活动之一亚太内容分发大会暨CDN峰会在北京举办。中国电信集团有限公司云计算首席专家江峰受邀参与峰会,并且在对象存储分论坛上,首次提出了CSN内容存储网络的概念。江峰专家指出:数字化时代,面对愈加庞大网络数据量,CDN在终端与网络中心之间扮演着“减轻中心压力”的重要缓存角色。随之而来,如何解决数据从四面八方上传的问题值得我们去思考。针对这个问题,江峰专家阐述了本次演讲的重点——内容存储网络CNS(Content Storage Network)这一新的概念。

在CSN概念引入之前,一个应用开发者要存数据,有多种方案可供选择,比如把数据存在某一个资源池,比如放到上海,靠近华东地区的体验是比较好的,离华东比较远的用户体验就相对较差,无法让全国范围内的用户都获得好的体验,这和CDN初衷是不同的,CDN希望任何地方的用户都能更快地获得数据。另外,还可以选择自行调度方案,选择几个资源池分布在全国范围内,东北地区放在长春,华北放在北京等。这种情况下,作为应用开发者,当终端发起请求时首先要找到平台,平台根据发起请求的位置,再将离终端最近的资源池返回给终端,最后终端才开始访问资源池,如此一来,终端和平台之间增加了延迟。同时要自己维护这种关系,当数据量很大的时候,维护的成本和难度是很高的。这对于研发能力很强的互联网公司来说不是问题,但如果是只关心业务驱动、市场驱动的公司,关心增收和用户量,这些问题解决起来就很复杂,对于研发能力不强的用户,需要一个能就近写入数据的解决方案。

提到“就近”这个词就容易联想到内容分发网络 CDN,但我们讨论的场景是存储而非分发,所以需要新的概念:“内容存储网络”(Content Storage Network,简称CSN),用户就近写入的数据,可以即时在任何一个CSN的资源池读到数据,这就是CSN内容存储网络和其他的云存储的不同之处。

CSN具有四个特点:1. 广域分布。CSN的各个资源池可以通过广域网连接起来,用户可以通过广域网随时接入CSN的服务。2. 就近写入。无论用户在什么位置,元数据存储在什么位置,CSN都可以将用户写入的数据自动分配到最近的资源池。3. 强一致性。CSN在保证低时延的前提下具备强一致性,用户就近写入的数据,可以即时在任何一个CSN的资源池读到数据。4. 冷热流动。由于数据在CSN不同资源池对用户来说没有感知上的区别,因此可以把冷数据放在运营成本较低的资源池,把热数据放在北京、上海、广东这类热资源池,实现优化资源、节约成本。

目前唯一实现了CSN的产品是OOS。从2012年开始,中国电信就开始云存储OOS的自主研发,目前,天翼云存储OOS从底层的磁盘文件系统,到分布式存储引擎,到全局调度系统,到最上层的协议处理,到管理、监控、运维平台,全部自主研发并且已经大规模商用。

2015年在上海举办的第五届华为云计算大会企业核心应用存储主题论坛上,中国电信集团云计算首席专家江峰曾表示:未来网络就是存储,未来的应用大部分都是互联网应用,中国电信应该结合自身优势打造差异化产品及服务,把资源池连成一张网络,当时称其为“国家存储网络”。用户不需要关心数据写到哪里,只要在资源池中存入,在任何地方都能就近读出来,这就是CSN的前身,如今已经实现了。

如今,这张具有中国电信特色的内容存储网络已经建成并得到广泛应用:一方面已经做到可以高效管理数量众多、规模巨大的资源池集群;另一方面通过对象存储OOS在扩展性、执行效率方面的精巧设计,以及在资源池之间搭建的“高速通道”,让每个用户从不同的资源池看到同一个视图,获得极致的访问体验;最重要的,它解决了在相隔数千公里的多个资源池之间,容忍大网的抖动,保证数据的一致性的同时,提供极低的延迟;

在2021年亚太内容分发大会暨CDN峰会上,江峰对CSN中的关键技术进行了介绍,中国电信自研了分布在广域网上的全局元数据环服务,逻辑上单一的一张表在物理上分布存在于不同的机房,从而可以就近提供访问服务,使所有的读写请求都会就近访问离用户最近的机房,数据在本地直接返还给用户,或者通过专网从其他地方拉过来给用户,比走互联网要快,因此可以获得最好的延迟。

让我们看看全局元数据是如何实现CSN的四个特性的。广域分布:中国电信自研了分布在广域网上的全局元数据环服务,可以将中国电信天翼云分布在全国的资源池整合成CSN。就近写入:全局元数据环中,逻辑上单一的一张表在物理上分布存在于不同的机房,从而可以就近提供访问服务。依靠中国电信天翼云自身分布在全国的资源池,用户可以在国内任一地区就近写入本省资源池。强一致性:任何对存储数据的改变都会实时反应到全局元数据环上,因此可以保证任何用户就近写入的数据,可以即时在任何一个CSN的资源池读被读到。如果数据被写入的地点和被读取的地点相距较远,CTOOS可以通过专线传输数据,保证用户在任何地点都能低延迟读写。冷热流动:由于数据在CSN不同资源池对用户来说没有感知上的区别,因此可以把冷数据放在运营成本较低的资源池,把热数据放在北京、上海、广东这类热资源池,实现优化资源、节约成本。中国电信天翼云的一些西部资源池(例如乌鲁木齐资源池)资源充足,可以将不读取的数据存储到这些资源池,支持了“东数西算”政策。

全局元数据作为CTOOS的基础核心组件,为整个云存储网络提供了统一的逻辑视图,解决了云存储网络在全国范围内部署时所面临的各类技术难题,如存储资源的统一调度、数据的跨地域访问、数据可靠性降低、读写性能下降等难题;通过将全局元数据域划分为多个元数据域的方式,在保留了全局元数据统一调度能力的情况下,提供了数据就近访问的能力,故障隔离的能力,从而大幅提升了数据读写性能、数据可靠性和服务可用性;全局元数据是在面向中国电信丰富且分布广泛的全国资源池的背景下应运而生的,通过将全国资源池连通成为一个存储网络,充分利用了全国各地的资源池,在保证性能和安全的情况下,大幅提升了资源统一调配能力、资源池利用率,产生了较大的经济效益,是当前实现CSN的核心技术。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值