【10.23头条】阿里云存储负责人吴结生:安全可靠是云存储立身之本, 智能技术将激活存储技术新变革...

戳蓝字“CSDN云计算”关注我们哦!
640?wx_fmt=png
作者 |  刘丹
责编 | 阿秃

人类 以日新月异的速度刷新着 科技的 成果,其中存储的发展历史 尤其 悠久,堪称万年进化史。 自 文明诞生以来, 我们 就一直在寻求能够更有效存储信息的方式,从4万年前的洞穴壁画、6000年前泥板上的楔形文字,到今天普及的SSD/闪存,再到对量子存储、DNA存储技术的探索,脚步从未停止。
 
大数据时代下云存储得到了飞速发展,其 成熟 过程始终贯穿着“应用的需求”与“技术发展的推动” 这 两条主线。以硬核实力赋能企业已成为各厂商 竞争的焦点 ,而在此过程中,存储 领域 更成为 决定 下一代信息技术成败的战略性新兴产业。本期《问底中国IT技术演变》,我们有幸采访到 阿里云研究员、 存储 业务 负责人吴结生 博士 ,就云计算时代存储技术的发展路径,以及阿里云 智能 在存储领域的产品矩阵、技术迭代以及未来趋势等方面,解剖阿里云 的 存储技术演进过程, 籍 此探析整个行业的发展趋势。
 
存储演进30年 新一代存储需满足五大变化
 
为了满足企业 针对 不同 业务 的多样需求, 现代 存储行业历经30多年的发展,迭代出多种存储产品。例如为解决早期数据增长而出现的DAS和SAN,为解决核心应用高稳定性和高性能而出现的高端存储,为处理非结构化数据而产生的NAS和对象存储,为满足弹性部署而衍生出来的软件定义存储……
 
为了更清晰 地 探究出云计算时代存储技术的发展路径以及所应对的挑战 , 阿里云存储 业务 负责人吴结生,根据阿里云在存储领域的发展经验,为我们梳理 出 存储技术的发展与应用 方向 :
 
第一,存储与计算的分离。 随着数据处理 对 存储需求 和计算需求在规模、速度、容量和成本等维度的不断变化, 计算与存储分离可以最大限度地 解耦这两类不同的关键资源,使得各自相对独立地扩展和演进。 首先 ,通过解耦 ,计算与存储 这 两方面可以 在云数据中心分别 独立 扩展 , 提供调度和资源共享的灵活性,提高资源使用效率, 降低成本 。 其次 ,计算和存储的技术演进空间变大,可以更加灵活的针对不同的负载进行优化。 再次 ,网络技术的高速发展、个位数微秒的延时(latency)、百G级别的带宽、服务器之间的边界越来越模糊,使得计算和存储分离、分布式存储等架构在稳定性和性能等领域变得更加高效和有生命力。
 
第二,标准化、服务化与开放化的演进路径。 首先 ,提供诸如块存储 和 文件存储等标准化的存储方式,这些 类型的 存储具备标准化的接口, 使 客户 能够 直接迁移 数据 , 避免了 应用 的 大量修改 ;其次 ,向服务化的方向发展 。 在 传统的存储模式 下 ,用户需要大量的设备管理与维护升级 ,而 在云计算时代,云存储将其演化成一种云服务,用户只需要关心自己的业务逻辑与创新即可;另外,更加开放 。 存储 云服务提供 很多管理与控制的API, 现在 将其开放出来,使得用户 可以 通过编程 调用A PI,管理与监控存储资源,以及 实现 跨平台的管理。
 
第三,垂直领域和典型场景的深度集成设计。 数据库、大数据 处理和分析 、人工智能、容器等领域具有 自身的特点, 所以存储 技术 针对以上 典型 场景也进行了相应的集成设计, 结合场景的特点进行适配和优化,提高与场景结合的端到端优化能力和存储的效率。
 
对于企业和用户而言,使用云 计算 有着诸多好处,云提供了 灵活的弹性伸缩 、 弹性 存储容量、 安全可靠、 高可用性和稳定的性能 等能力 。但是,云存储在发展的过程中也面临着 诸多 挑战,为满足云时代发展的需求,吴结生为我们总结了新一代存储要 不断演进,跟上需求演进的变化,进一步通过技术牵引去创造更多的变化。
   
640?wx_fmt=png

容量 海量化,需要持续的成本优化技术来满足数据的爆炸式增长需求;存储速度化,读写速度和数据处理速度不断加速;数据来源和数据形态越来越多样化;数据是新石油,是数字化经济的基础 ; 存储需要加强数据清洗、数据安全、数据处理方面的能力,提供真实、可信和安全的数据, 帮助 企业 或 机构 挖掘数据的价值,实现数字经济中数据价值 。 针对这五个 方向和不断演进的需求变化 ,阿里云已在存储领域完成 全面 布局, 包括 块存储 和 对象存储在内的云上存储家族,混合云存储阵列 、 混合云 备份和 容灾的混合云存储服务 , 以及高性能分布式 存储和数据库存储等典型场景 存储方案。
 
阿里云十年存储进化史 重新定义下一代存储
 
了解 了 云时代存储的发展路径过后,接下来不妨让我们看看阿里云存储的技术演进 历史 ,从而更直观 地 了解云存储在数字化转型中的核心价值。作为阿里云飞天系统 中 极其重要的一环,阿里云存储不仅 满足 了“双 1 1 ”等大规模业务 场景 对存储系统的超高要求, 提供丰富完整的公共云和混合云存储产品矩阵,还 通过 客户数据中心和边缘局点 到云上的整体存储解决方案,打破了数据存储和流通的边界,满足 了 企业的多样化需求,为企业数字化转型提供 了 数据核心价值。
 
640?wx_fmt=png

“越过山丘,才发现那里已无人等候......” , 这是去年阿里云存储新品发布会中的一句话。这句话低调 地 彰显了阿里云的领导者地位,也恰好 是 阿里云存储 在 成长道路上坚守与收获 的写照 。
 
l 2008年,为了探索阿里巴巴集团大规模存储解决之道,阿里云存储团队 应运而生 。
 
l 2009年,阿里云分布式存储引擎1.0(盘古PanGu)正式发布,为 弹性计算 虚拟机、阿里金融、邮箱、搜索提供通用存储服务。
 
l 2013年,阿里云分布式存储系统实现单集群5000台服务器规模的部署 ,服务阿里巴巴电商业务和蚂蚁支付宝业务。
 
l 2015年,成功实现了单集群10000台服务器规模的部署,拥有云计算 产业 中最齐全的存储产品线,成长与效率 跃居榜首 。同年还打破了Sort Benchmark世界记录,100TB排序完成时间 仅需 377秒。
 
l 2016年,CloudSort项目中,阿里云以1.44$/TB的成绩获得Indy专用目的排序和Daytona通用目的排序两个子项的世界冠军,打破了AWS在2014年 创造的 纪录4.51$/TB。
 
l 2018年,面向人工智能、科学计算、深度学习等未来存储场景,阿里云分布式存储引擎2.0正式发布,这不仅证明 了 阿里云存储历经十年的 超强能力 ,更意味着阿里云存储再次 引领 了云存储与企业存储、传统存储的破局之争。
 
l 2019年,阿里云携ESSD高性能云盘,领跑微秒存储时代,正式吹响了进军企业存储市场的号角。
 
阿里云存储 在 十一年 的 发展历程 中 ,不断推出重磅新品与 取得 傲人成绩,绝不仅仅 是 为了快速追赶业内标杆厂商。更重要的是, 彰显了 阿里云为满足全球用户的 业务 需求,所 沉淀的 独到见解和创新。随着更多贴近用户应用的数据管理功能的推出以及生态的构建,我们可以 感知到 阿里云存储背后的思考。
 
在安全方面,对象存储服务在 国外 成熟市场 得到广泛认可 ,很多企业的核心业务信息都存储在上面。但是在中国 , 对象存储的普及度还有 待提升 ,数据安全的加强 有助于 改变这一 现状 。对此,阿里云对象存储 也在 更新重点 , 剑指 数据安全。据了解,阿里云存储全线产品都具备全面的“数据加密”能力 , 其中对象存储OSS提供包括KMS密钥、BYOK密钥、OSS托管密钥等5种加密方式 , 完成服务端数据加密和客户端线下加密 等多种灵活形式 。
 
在性能方面,随着全闪存的普及 和高性能网络的发展,数据中心进入“微秒时代”。 起初,10万IOPS已是非常高的性能 ; 而十年后的今天,百万、千万IOPS已经成为多家厂商宣传的主题 词 。据介绍,作为全球首个百万IOPS的企业级云盘,阿里 云 ESSD搭配ECS云服务器使用,可提供单盘高达100万IOPS的随机读写能力, 单路写时延 100 微秒。 相比 前一代的 SSD云盘 性能 提升了40倍, 读写时延 降低了70% 。同时,ESSD云盘支持不停机扩展容量、不停机提高IO读写性能上限、数据加密等高级数据服务功能,具备企业级存储的前沿技术创新能力。
 
在数据智能管理方面,打破数据孤岛 以 形成有效的联动成为当务之急。对此,阿里云提供了丰富的数据管理功能, 通过 数据分析系统挖掘数据价值。其中日志服务的AIOps分析功能面向趋势预测、异常发现、智能聚类和根因分析四个场景,提升DevOps分析和诊断的效率,帮助运维人员提前配置资源,提前预测、发现和解决常见故障。
 
在降低成本方面 。 每年双 11 创造奇迹的背后,是巨大的成本投入 ; 另一方面, 在 数据时代, 随着 各种大数据处理框架不断涌现,成千上万的数据分析 需求 背后是大量的计算任务,占用了大量的计算资源。此时,阿里 云 数据中心利用混部技术,将集群混合起来,将不同类型的任务调度到 同一批 物理资源上,通过调度 、 资源隔离等控制手段, 在保障SLA的基础上,充分使用资源,极大降低 了 成本。
 
化 挑战 为机遇,阿里云存储 营收 过去三年增长超过10倍,存储容量增长12倍,其中SSD容量增长超10倍。十 余 年 的 存储进化, 让 阿里云更新迭代了涵盖公共云、混合云 和边缘计算 在内的全球最完整存储产品线 , 面向万物智能时代,定义下一代存储,更安全、更稳定、更优化、更智能, 让用户 无缝上云。
 
存储新常态 看人工智能如何激活存储技术变革
 
如今,人工智能的高速发展,彻底改变了人类的工作方式、生活方式和思维方式,也实现了生产力的整体跃升和社会治理的新变革。随着计算力的不断突破,人工智能的技术也在日趋成熟,越来越多的企业开始将人工智能技术融入行业 应用 中。而作为传统行业 的 存储,经历 了 一轮又一轮技术市场洗牌, 而今 面对人工智能技术时,又将如何撬动市场的新需求呢?
 
对此,吴结生表示,在与人工智能的融合中,阿里云 存储 正在做两方面的实践与探索 : 一方面是思考人工智能技术如何运用到存储系统中 ; 另一方面也在 践行 存储系统如何更好 地 服务 和 支持人工智能计算,从而更好 地 普惠人工智能技术。两者相互融合,共同促进。
 
借助人工智能技术,在磁盘、服务与网络等硬件故障的检测中,可以更加准确 地 预测到故障的发生。 在 遇到 网速 变慢等异常状况时,可以做到及时有效的规避,从而使得产品更加稳定,大大降低长尾延迟现象;在智能负载均衡与调度中,利用人工智能技术,能够提前进行负载均衡, 避免 热点与不均衡;在数据的置放策略中,可以根据对冷热数据的分析判断,以及客户访问的规则与模式,将不同类型的数据进行分类,安排不同 的 置放策略,从而提高总体系统效能,以便 实现 更加智能的 分 级存储 (Tiering) 。
 
同时,阿里云针对机器学习与人工智能计算的场景,推出了 高性能并行 文件系统 (CPFS:Cloud   Parallel   File   System) ,已经 广泛 应用 于 智能驾驶 、 生命科学和基因计算等 场景。 CPFS也 被 广泛使用在高性能计算领域,与阿里云的弹性高性能计算(E-HPC)一起提供服务化和商业化的高性能计算 , 不仅如此 ,还 承担了“国之重器”之一的“天眼 ” 工程( 500 米口径球面射电望远镜 FAST   系统)的存储解决方案,助力人类对宇宙的不懈探索。
 
另外,随着图片和视频内容的不断产生,急需对其进行智能的分析 ,阿里云的 智能媒体管理系统 (IMM)将 先进的分析算法与存储相结合, 通过简单便利的调用接口, 使得中小客户也可以享用到阿里 云和达摩院 的人工智能能力 ,普惠人工智能技术 。 这些智能服务能力也经历了“双 1 1 ”场景的打磨,积累的最佳实践转化为产品的能力 , 复制到更多的客户。
 
人工智能可以激活存储 的 新变革,而借助存储来服务人工智能计算,又能够让 人工智能 走上普惠的道路,这样相辅相成的融合 可谓 绝妙。可预见 的 是,存储技术将会 与人工智能技术 不断融合,这也有利于存储技术的更新换代,更好 地 支撑业务的快速发展 , 最终具备技术扩展业务边界以及业务向技术拿红利的能力。
 
另外,阿里 云 存储将高性能存储网络作为分布 式 存储的基石,联合整个阿里云 网络和基础设施 团队 进行迭代式创新 ,从25G的网络到现在的100G网络,高性能存储网络 已经取得了很大的进步, 在 稳定性和 性能方面 将会持续 创新。最后,在数据中心级别 的 均衡 规划 中,还需要更 高级别和更大 规模的设计。谈及阿里 云 存储未来的部署与计划时,吴结生强调 , 为客户创造更多的价值才能让阿里云更有价值。
 
在快速迭代的技术面前,阿里云存储以稳定 、 安全 、 可靠为 立身 之本,并利用智能技术的新元素赋能存储, 以 普惠智能决策与智能计算。不难看出,阿里云存储的创新活力,不仅拓展了云存储的边界,更在广阔的企业级存储市场中创造了更多的可能。
 
640?wx_fmt=png

640?wx_fmt=png
640?wx_fmt=png

640?wx_fmt=jpeg

福利
扫描添加小编微信,备注“ 姓名+公司职位 ”,入驻【CSDN博客】,加入【 云计算学习交流群 】,和志同道合的朋友们共同打卡学习!

640?wx_fmt=jpeg

推荐阅读:







真香,朕在看了!
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值