Per Brashers：硬件改造将对软件产生重大影响

http://www.csdn.net/article/2014-05-08/2819679

摘要：Per Brashers，现Yttibrium公司创始人，曾总管Facebook的整个存储部门。他发明创造了若干对业界具有深远影响的存储平台，名下共拥有21项（含待发）专利发明。

云计算和大数据的产业顶级盛会，“ 第六届中国云计算大会 ”将于2014年5月20-23日在北京国家会议中心隆重召开。

本届大会的主题是“  云计算大数据 推动智慧中国  ”，以国际化视野，把握全球云计算发展趋势；通过培训课程、专题论坛和项目评选等方式，深度剖析云计算与大数据的核心技术；从应用出发，探讨云计算和大数据在交通、制造、医疗、教育、金融、数字娱乐等领域实践经验。大会历时四天，涵盖“突出行业应用、分享技术趋势、促进国际合作、打造共赢平台”四大特性，内容更加精益求精，预计参会者将大大超过上一届的12000多人次。

第六届中国云计算大会 已邀Yttibrium公司创始人Per Brashers（曾总管Facebook整个存储部门）为演讲嘉宾。

---

  Per Brashers，现Yttibrium公司创始人。2012年1月至2013年8月，Per任Data Direct Networks公司存储解决方案部门的总技术架构师。2011年5月至2012年11月，Per总管Facebook的整个存储部门。

Per 曾在EMC任职11年。2010年6月至2011年5月，Per担任EMC公司备份和数据恢复领域的高级技术专家，为客户的复杂难题设计了解决方案。2006年11月-2010年6月，Per作为EMC NAS工程设计部门的总监，率领MPFS开发团队实现了1亿美元的营收。2000年1月-2006年11月，Per 担任EMC公司美国西部面向客户的技术商务顾问。

---

关于Per Brashers

Per是一位极具远见的存储战略家。他发明创造了若干对业界具有深远影响的存储平台，其中包括用于Facebook引领的Open Compute Project系统下的OpenVault及Cold Storage解决方案。他设计了多个适用于数据中心中的互联系统。Per还是pNFS-Block的作者，也是现今最快的Hadoop存储阵列系统的架构师。Per还将传统的3X复制策略转化为纠删码（erasure code）的存储方案，从而最大化使用效率。
 
Per的名下共拥有21项（含待发）专利发明，多数在存储领域，擅长解决存储及存储网络连接、数据块、文件及对象存储等方面的问题，并擅长于利用纠删码来实现数据分布，弹性调度及提升效率。Per在删除重复存储以降低存储成本方面也是专家。他善于将用户的需要转化为切实可行的执行方案，专长于在Hadoop及BigData应用领域的性能改善。他身兼数任，工作在NAS、SAN、IP网络连接、备份及恢复方案、应用性能分析等多个领域，并兼负标准起草/编辑、难题专家、发明人等多重身份。
 
Per的兴趣与关注点还不仅限于此，他竭力为了改善人们的居住环境献计献策，如为住家提供空气效能方面的的相关发明作出了不懈努力。Per的业余爱好之一是有机种植，同时也是一位家庭啤酒酿造师，曾获得UC Davis 酿酒科学的荣誉硕士学位。同时，Per 还在不断学习改进其葡萄酒酿造技艺！

Per有着丰富的存储系统设计经验，对软硬件结合有着清晰的思路，下面是Per在2013年9月XLDB（第七届超大型数据库大会）上发表的看法，虽然有些趋势可能已经被实现，但是其中存在的价值仍不可忽视。

硬件的改造将对软件行业产生重大影响

Per从存储、控制器（或网络）、内存、CPU、数据中心环境五个点着手，分享了硬件领域的变革趋势，并分析了这些变革对应用程序的影响：

一、 存储

1. 存储的趋势：SATA-4被IETF否决、混合类型磁盘将大有可为、对象存储正在侵蚀整个世界、SSD在短期之内仍然得不到完全利用、云存储将减少机构的内部磁盘采购、移动计算将完全建立在SSD上、专为大数据设计的新类型磁盘将诞生、机构将被新类型的磁盘密度问题困扰。

2. 磁盘耗电将影响到采用。相信不久后，2.5英寸磁盘就会被广泛的用于大数据场景，除下有人能找到优化3.5英寸磁盘的电能消耗方法。

 

3. 磁盘性能增加遥遥无期。在过去，磁盘访问速度增长相当可观，但是在2000年后，整整13年都毫无提升。

4. 基于历史的推测。在过去，容量增长呈线性增加，但是当下基本上已到一个瓶颈。

 

5. 磁盘密度未来堪忧。随着密度增加放缓，游戏规则已经被改变：首先，当下的探索已转变为数据的寿命，同时减少运维已经成为大家追逐的目标；其次，在之前，磁盘技术迭代时间是3年，然而当下已转变为5年，磁盘使用寿命也必须随之增加，毫无疑问，这将对RMA值和销售增量产生影响；最后，新的控制器需要针对现有数据集的数据存放空间及启动性能设计。

 

在数据爆发的当下，如此堪忧的前景将会对应用程序设计产生众多影响，这里主要从发展情况和数据持久上看：

1. 发展情况

• 不要期待存储容量在短时间内的爆发增长
• 对闪存的依赖增加，然而API还不能完全的成熟使用闪存
• 针对大数据的磁盘设计可能成为一条出路，然而持久性将成为致命缺陷

2. 数据持久

• 新的替代方案可能不会带来本质性提升，除非应用开始就针对其设计
• 拆分RAID将提供类似DEC的效果，机架和层布局需要设计成为为系统的一部分
• 针对RV和缓解bit-error速度设计可能会有助于性能提升。如果应用可以纠正一些bitwise错误，并重试那些无法被修复的，系统的IOPS将会显著增加

二、 控制器/网络

控制器及网络发展趋势：性能更强，体积更小；12GBb可能是最终状态；SAS和PCiE将是这个领域的角逐者；PHY add-ins将需求更复杂的配置；芯片销售将被拆分；DMA/RDMA已经成熟落地；设备级的合作将增加，机构的目标将放到RAID拆分上；T10-diff及其他校验/安全特性；传统的RAID仍然是主要收入来源；网络将会有巨大的改变，比如SAS/PCiE/Silicon Photonics及OpenFlow/“Agnostic Networks”。

基于控制器/网络的改变又会给应用程序带来什么样的影响？这里同样从发展情况和数据持久两方面来看：

飞速发展

• 新类型的通信渠道将出现，Open Socket，可增加设计，封闭的Socket将会被取代
• 控制器的智能化，新的应用程序和驱动可以从中获益
• 新的密度解决方案将带来IOPS并节约电能，闪存的辅助将弥补转速的不足

数据持久

• 数据最终将变得可以移动，非分层拓扑将提供更好的带宽
• 许多持久性任务可能会被下压，比如加密、错误处理等
• 网络的聚合意味着更多的预留容量，QOS已老，新的思想需要被建立

三、 内存

 

1. 这是一个变革的时代：许多玩家都在引进新的、密集的、更慢的DRAM替代方案；所有人都在期待内存的可持久化。

 

2. 3D NAND的实现：Toshiba的演示、其他供应商准备在2014年发布产品及以移除DRAM为目标（更密集的“dimm”及主机内存的持久化）。

 

那么，内存的改变对应用程序设计又意味着什么，下面从发展和数据持久两个方面解读：

发展趋势

• 主板上允许更大容量的内存，特别有利于内存数据库发展
• 访问时间将增加，这点对内存数据库可能会有一定的影响
• 成本曲线仍然很高

数据持久

• 更多的写入周期、散热和恢复问题被解决
• “自愈”固件将对错误处理起到帮助
• 有助于防止数据丢失，但是在旧数据处理上会存在问题

四、 CPU

 

CPU趋势：频率上的文章已经消失；多核和offload的关注继续增加；库和其他编译时辅助变得普及；移动市场驱动的低功率组建提供了许多有趣的拆分选择，按需组装和释放网络组件，软件定义计算机的时代来临。

对应用的影响。发展方面：越来越多的in-card运算，性能增加带来的极端密度，新的库需要验证应用性。数据持久方面：更多的线程、更多的核心，更多的碎片，需要注意门槛；拆分意味着更多的错误检查，offload可能有所帮助，但是你可能还是期望对方法进行更严格的校验。

五、 数据中心

 

数据中心环境主要涉及3个部分，数据中心设计、电力分布及机架/服务器/存储。据统计，21%公司都运营了一个智能数据中心，数据中心在新项目的投资超过50%。随着数据中心占整个IT界计算比重的增加，更多的二氧化碳（电能供应）、热量、污水等被排出。同时，鉴于高热等因素，更多的铜、银等材料被腐蚀，而存储介质故障率增加更是亟待解决的问题之一。如此情况下，应用成熟又会受到什么样的影响？

首先，发展

1. 数据中心环境并不可以一朝一夕被解决，但是设备供应商会努力的克服这一点，它们并不希望看到更多RMA上的开销。
2. 更大的设备意味着灵活的工作负载转移，与DCiM工具的整合将有助于数据中心的正常运行。

其次，数据持久

应用程序将承担更多的可用性职责，数据中心故障不可避免。DCiM有助于转移负载，从而避免宕机。