[存储网络] 【名人堂访谈】乐天派的架构师：大话云存储（获奖名单已公布-2014-9-12） [复制链接]

http://bbs.chinaunix.net/thread-4146388-1-1.html

当我们使用网易网盘存储照片的时候，当我们使用苹果的iCloud同步音乐的时候，当我们使用小米的云服务在线管理和存储联系人、短信、照片、便签等各种数据的时候，云存储已经在不知不觉中完全走进了我们的生活里。只是我们在享受这光鲜流畅的服务背后，是否了解这背后到底需要怎样的技术支撑呢？存储系统，尤其是对象存储系统，在处理大量图片和视频的时候，都不可避免的会面临着大流量和高并发带来的压力。网易对象云存储NOS这个新生儿，从无到有历经两年时间里，在易信、云音乐、云阅读、公开课、有道云笔记等30多个重量级产品中大展拳脚。到底它有哪些魅力呢？本期名人堂我们邀请到了2014中国系统架构师大会嘉宾来东敏老师坐镇，聊聊云存储那些事儿。

PS：2014中国系统架构师大会即将于9月17-19日在北京盛大开幕，本届大会以“发现架构之美”为主题，汇聚了国内最牛的IT架构师，为大家分享IT行业前瞻与架构最佳实践。届时，来东敏老师将为大家分享主题为“NOS(网易对象云存储)关键技术解析”的精彩演讲，欢迎大家报名，官网地址：http://sacc.it168.com/ 本期活动诚邀云存储专家坐镇，与各位网友倾心交谈，请大家抓紧时间提问吧，说出自己心中的疑惑！截止8月15日，我们将在ITPUB社区和ChinaUnix社区评选5名活跃会员，赠送图书1本，并赠送大会徽章一枚，欢迎大家积极探讨！

皮皮（Q1）：很高兴有机会采访到您，能否介绍下自己，分享下您的职场经历？作为一名系统架构师，您觉得日常工作中会遇到哪些挑战？

来东敏（A1）：大家好，我的职场经历比较简单，2010年中科院计算所毕业后，一直在网易杭州研究院从事研发工作，重点负责分布式文件系统、对象存储系统、高性能服务器等技术领域。这份工作天时地利人和，公司离我家不到10公里，我觉得非常理想。架构师行业高深莫测，正所谓师傅领进门修行在个人，或多或少在工作中总会遇到这样或那样的挑战，前车之师后车之鉴，我希望通过自己的总结给大家传递一点正能量：

1.要想设计出一个优秀的架构，无论是在技术的广度上还是在领域经验的深度上，都需要日积月累，不断学习沉淀；

2.构架师一定要**细节，站在开发、测试、运维等角度来审视设计，忽略细节的后果很严重，有时候可能会为了一个小小的技术点对方案做全盘调整；

3.架构设计要有全局发展性的眼光，高瞻远瞩，通过审视过去预测未来，寻求一种折衷平衡之道，制定最优方案；

4.架构师需要理性冷静的分析思维，定性和定量分析要有机结合，开源或者自建系统都要掌控到位；

5.架构师要负担起一种强烈的责任感，作为最熟悉系统的那个人，需要耳听八方，选择性地吸收外部建议（尤其是领导的建议）；

6.架构师还要对自己所处的环境有个清晰的认识，合理利用基础设施，不要做超出团队驾驭能力的设计

目前来讲，我的大部分时间都花在了程序设计代码这块，希望能在通往成熟的架构师之路上,有机会与大家一起探讨架构的艺术。

皮皮（Q2）：谈到存储，规模稍大的企业通常都会用到3种存储，对象存储、文件存储、块设备存储，到底是选择采用3个软件来实现3种存储，还是用一个软件来实现3个功能？

来东敏（A2）：在云计算领域，这三种存储类型有各自的特点和应用场景：文件存储是大家使用最广泛的，但存在海量存储扩展性以及存取性能方面的问题；对象存储弱化了POSIX文件系统接口，通过对象这一基本概念进行数据存取，特别适合存储海量非结构化数据；块设备存储则主要体现在弹性上，就像是一块可扩展的虚拟硬盘，可以插拔、挂载到任意云主机上。目前国内公有云对象存储做得比较火热，而弹性块设备存储发展相对不是特别快，但是随着云计算深入，弹性块设备存储的优势会逐渐体现出来。网易云实现的弹性块设备存储（NBS）具有高可用、高可靠、高性能、简单易用等特点，已经在内部广泛使用，取得了良好的应用效果。

在同一套系统中统一实现三种存储类型的最大优点是存储资源的整合，但是为了降低系统构建的复杂性，通常会采用分层实现。其实Ceph就实现了统一存储，其底层是RADOS对象存储，作为整个集群存储服务的基础。上层实现RADOSGW、CephFS、RBD提供对象存储、文件存储、块设备存储等服务接口，只不过目前Ceph官方提示CephFS尚未达到应用到生成环境的要求。

但是像Ceph那样在同一套系统中实现三种存储也存在一定的问题，例如上述三种存储有各自的特性，这就导致很难抽象出适用于所有存储的公共底层，造成特性上的优化很难进行，例如：我们曾经调研过Ceph的RADOSGW如何实现S3的GetBucket接口，结果发现在带有prefix前缀参数的情况下，RADOSGW将遍历桶下的所有对象，这肯定是无法接受的。如果是单一的存储系统，系统优化的目标就会很明确，系统设计上也会有针对特性的专门考量。

皮皮（Q3）：业界公有对象存储项目有很多，亚马逊S3、阿里OSS、腾讯COS、七牛云存储，相对而言网易的对象云存储系统有亮点？

来东敏（A3）：亚马逊S3是业界公认的公有云对象存储系统的鼻祖，国内同类系统都或多或少借鉴了S3的接口，并在此基础上提供了上传下载加速、富媒体处理等功能。目前来看，有关对象存储系统架构和实现的技术分享并不多，可能由于大家相对比较封闭吧。真心希望大家有更多的交流，共同促进这一领域的蓬勃发展，七牛云存储在这方面做得不错，我们团队从七牛和S3身上获益良多。

网易云对象存储系统（NOS）提供了互联网上的存储服务，致力于提供高度可伸缩、高可靠的廉价数据存储基础设施，并给开发者提供最大程度的便利。对象存储把用户数据存储为桶里面的对象。对象由文件、描述文件的元数据信息组成。桶是对象的容器，一个用户可以创建多个桶，桶名称全局唯一。用户可以通过简单的REST接口，在任何时间、任何地点、任何互联网设备上进行数据的上传和下载，也可以使用WEB页面对数据进行管理。同时，NOS还提供了Java SDK，简化用户的编程。用户可以基于NOS搭建出各种多媒体分享网站、网盘、个人企业数据备份等基于大规模数据的服务。

NOS从无到有经历了两年时间，当前网易内部使用NOS的产品有30个左右，其中包括：易信、云音乐、云阅读、公开课、有道云笔记等重量级产品。我们的团队成员包括4位开发，2位测试，1位运维，0.5位项目管理。与公有云对象存储系统的项目团队相比，我们应该算是小团队作战。但是NOS在功能接口方面，与市面上的几家公有对象存储系统基本差不多，甚至为了兼容POSIX文件系统接口，我们还提供了“根据prefix和delimiter列出桶内对象”这样的高级接口。要说亮点的话，这里还可以提两点：1.在富媒体处理速度方面有较明显的优势，在主要得益于我们的富媒体系统构架和实现方式；2.桶隔离机制，运维人员可以根据实际情况实现桶粒度隔离，包括：流量隔离、连接数隔离、QPS隔离等。更多精彩内容将在大会上做分享。

皮皮（Q4）：作为本届大会的演讲嘉宾，能否透露下您的演讲主题？分享下网易对象存储系统的架构实践？

来东敏（A4）：本次大会，我的演讲主题将围绕NOS构建过程中碰到的问题展开，并重点分享我们如何解决这些问题的过程。实际上，在NOS快速发展的两年多时间里，系统构架也在不断演进，项目组成员也是随着NOS一起成长，这是个非常美妙的过程。系统搭建初期，整个NOS只有两台应用服务器，加上一个非常小的存储集群，只能实现基本的对象存取功能，在系统可用性、可扩展性等方面存在一定局限性。后期通过持续迭代改进，我们逐步加入“图片处理、视频处理、音频处理、高速缓存”等功能。在非功能特性上也对架构做了大量的调整和改进，确保系统无单点，能够实现平滑升级和水平扩容。最终成就了一个稳定易用、安全有弹性、成本低廉的对象存储系统。未来我们将在确保系统稳定运行的情况下，进一步优化系统性能，提高系统抗压能力，并着重提高移动端体验。

目前，整个网易云对象存储系统（NOS）主要分为“接入、缓存、逻辑、存储”四个层次。1.接入层：使用Openresty（类似Tengine），其强大的Nginx Lua模块实现了桶粒度实时流量统计、流量隔离等功能；另外，使用Nginx Lua写了部分适合在接入层实现的逻辑；2.缓存层：使用TrafficServer，这是一款专业的缓存服务器，我们测试发现其无论在稳定性还是功能和性能上，都比Squid靠谱；我们用它实现热点数据以及富媒体处理后的临时数据缓存；3.逻辑层：使用Tomcat实现对象存储主要的业务逻辑，由于Tomcat众所周知的在高并发上的短板，我们正在积极探索，计划使用Netty来替换Tomcat；4.存储层：是对象存储系统的基石，NOS构建在网易分布式文件系统（DFS）和网易分布式数据库（DDB）之上，DFS做数据存储，而DDB则存储元数据；目前，有一个三人团队正在进行DFS2.0的开发，以实现更优的存储构架；

皮皮（Q5）：古人云，三十而立，四十不惑，五十知天命。您三十成家立业，家庭幸福美满，这一路上对人生有哪些感悟？

来东敏（A5）：人生感悟实在谈不上，我是个乐天派，无论顺境逆境，都能保持良好心态，所以大家都喊我微笑哥。我们组的项目管理做得非常好，一般情况下，都会有一个良好的开发节奏，这对于我来说非常重要，因为那就意味着，每天下午六点就能准时回家，十分钟后，奶奶爸爸妈妈老婆儿子和我，就能围坐在一起吃晚饭。当然啦，晚上免不了要写写代码，看看技术文章。对于工作，我觉得进入状态很重要，没状态的时候不妨到处溜达溜达，喝杯咖啡。当碰到烦心事的时候，也别堵得慌，非常喜欢科比的一句话，与大家共勉：Falling is a part of life, but walking is the way of life.