EMC IT 是如何处理存储事务的

最新推荐文章于 2024-09-24 18:56:41 发布

weixin_34185512

最新推荐文章于 2024-09-24 18:56:41 发布

阅读量99

点赞数

文章标签：运维大数据数据库

原文链接：http://blog.51cto.com/vsdsrevolution/1407922

版权

原文：http://chucksblog.emc.com/chucks_blog/2013/06/how-emc-it-does-storage.html

注明：本文内容基于 VMware VSAN beta 版本撰写，请访问http://www.vmware.com/products/virtual-san/获得有关正式版本的更新信息。

您可能已经习惯了从存储供应商那里获得一些关于存储的建议，但是，与其 IT 团队中的成员谈一谈或许效果更好。

而这正可说明EMC IT的作用，多年以来，我一直在文章中提及这一卓越的团队。

从多个层面讲，这一观点都很有趣。EMC 是一家在竞争激烈的行业中倍受尊崇的全球企业，其规模超过 200 亿美元。EMC IT 还可以利用特权直接与工程师接触，尽管他们也需要像其他人一样为存储架构付费。

最重要的是，EMC IT 成功发现了向 ITaaS 模式实质性转换这块新大陆，并将自己重塑为几乎可以满足 EMC 内部所有 IT 需求的内部服务提供商。

我有幸与 EMC 老员工Srinivasa Maguluri 进行了交谈，他是EMC IT 内部存储架构团队的云架构师。与许多 EMC 员工一样，他拥有聪明的头脑和无私分享知识的激情。我竭尽全力对他最近提供的一些最佳观点进行了总结。

EMC IT 如何处理存储事务为IT 部门处理大型企业环境固有的复杂性提供了一个良好的范例。尽管我会提及具体的 EMC 产品，但我发现无论选择哪家存储供应商，这些框架和思路都广泛适用。

看看您是否认同这一观点 ...

山外有山

Srini 开门见山地提出了一个观点，也就是 EMC IT 多年以来所推崇的“存储之旅”。

第一轮“存储之旅”是实现 ILM 概念：存储的整合与分层，主要是为了控制成本，但它与任何策略一样，有时出现投资回报率下降的情况在所难免。

第二轮则是使存储策略向 EMC IT 的虚拟化策略及相关融合基础架构靠拢，我们称之为“虚拟化存储”。

现在，该团队已经投身于第三轮“存储之旅”：实现存储环境转型，按照需要或者按照度量高效提供不断扩展的服务以满足业务部门的使用需求。

此幻灯片本身很有趣，为受众设计一个连贯的上下文尤其重要。一个问题接着一个问题，逻辑严密，没有捷径可循。

创建功能
此次演示之后，会展示一个“功能堆栈”视图，我觉得很有用。

该视图底部展示的是“整合”-- 实际是从单项目和单所有者存储模式（每个人都有自己的阵列）过渡到基于标准化阵列组件构建的共享存储环境。假定这是基础层。

这一层之上是“虚拟化”层，展示了一个资源池和相关功能视图，与服务器视图保持对应并相互集成，EMC 将其视为虚拟化。

Srini 所说的下一个重要功能是“移动性”，也就是能将数据移动到正确的位置（可能在阵列内、阵列间或远距离），而无需过大的工作量或中断业务。与其他人一样，EMC IT 并不喜欢数据迁移 ...

下一层理所当然是“自动化”-- 定义流程和提供相关工具，从而减轻后台存储团队的负担，并为使用存储的人员提供支持。

最后是“消费化”-- 使存储资源易于发现和理解、简化使用、针对成本和服务提供反馈等。

Srini 对当前功能进行了评分（颜色越深表示实现程度越高）。至于新主题，EMC IT 也可以提供出色的功能，但这些功能不够普遍和“成熟”，只能逐步推出。

我喜欢的企业存储架构示意图
Srini 随后分享了一张精彩的幻灯片 -- 一幅设计精美的企业存储堆栈架构分解图。

多年来，我看到过许多类似的图形，而这幅图我觉得绘制的极为精彩，尤其是分解和分层。它在某种程度上勾起了我对 OSI 存储堆栈的回忆:)

从底部开始是硬件：存储引擎、驱动器技术以及 HA 和数据完整性-- 存储服务目录的基本构成要素。请注意，此处未提及这一层的实现“方式”：使用何种技术、使用多少种技术等等。

这一层之上是对所需数据服务的准确说明：复制、快照/克隆、保留、重复数据消除、存储虚拟化（抽象）和加密等。

再往上是定义完善的优化层：缓存、分层、QoS 和资源分区-- 以及根据需要从堆栈中某个平台动态向上移动的功能。

继续向上是移动性层：数据迁移、联合、多站点可用性、工作负载迁移 -- 以及适用于文件用户的全局命名空间。

继续向上是协议层，呈现常见的块/文件/对象。第一次看到这一层时，我有些疑惑，为什么这一层位于堆栈中如此高的位置。随后，我意识到：特定服务通常与使用协议关系紧密：以远程复制为例，它在相应的块/文件/对象等领域中的语义是不同的。

我和 Srini 都对ViPR 的潜力十分期待，它可以提供与呈现形式无关的通用服务，从而减轻这种传统上的关联 -- 不过，这个话题会在今后再讨论。

安全层是最后一层，在此之后才会公开存储服务。安全层包括多租户、授权服务、访问控制、审核等。

最后，我们会在最前端看到各种使用门户：插件、GUI、CLI 和 API。我们都非常期待ViPR 能够对这一层进行标准化，而无论该层之下是什么。

一些个人观点 -- EMC IT 会使用 EMC 产品组合中的一大部分提供所需的存储服务 -- 产品数量或许超出需求量。这正是 EMC 产品团队不想展示其产品的原因所在？话虽这么说，但有一个道理是不容置辩的，那就是“服务优先”-- 提供用户所需的服务是重中之重。

如果您是存储架构的负责人，我想将此类示意图放在手边会对您很有帮助。如果没有，请首先从复制一下这幅图 :)

从逻辑到物理
EMC 已经踏上了通向ITaaS 模式、虚拟化、融合基础架构等目标的康庄大道 -- 看看这些功能如何在此过程中证明自身价值是件有趣的事。

这是几个月前绘制的一幅最新图表，虽然看起来要花些时间，但我发现其中不乏有趣的内容。

在左侧我们可以看到存储、计算和相关物理部署模式。顶端直到右侧是一些大型逻辑存储段：任务关键型应用程序、非任务关键型应用程序和 IaaS。

注意：“非任务关键型应用程序”与“IaaS”之间的区别已经消失；因为 IaaS 模式已经成熟，不再需要区分这两者。VDI 称为一种特殊的存储服务。

至此，我们已经有了明确的定位，现在就让我们踏上旅程吧。

右上角：请注意，我们正在 VCE Vblock 上运行“所有内容”：基于 VMAX 的 VCE Vblock 用于超级任务关键型应用程序，VNX 用于任何其他应用程序。请注意，两者的首选存储管理模式是不同的：在 IaaS 使用情形中，自动化程度更高；在任务关键型应用程序中，直接元素管理能力更强。

向下跳到计算层，这里几乎全是 VMware 的内容。请注意，交付模式不一样：IaaS 自动交付，而其他类别则通过程序或项目交付。任务关键型应用程序的某些元素可能会在物理上进行隔离，以确保 QoS；我们的目标是尽可能地合用资源。

进一步向下，直到绿色存储框，这里会看到一些有趣的详细信息：为任务关键型应用程序预分配存储，而为其他应用程序按需分配存储。这里也会发生超额订阅。

IaaS 环境已经成熟，可以将“非任务关键型”类别纳入其中，我想用不了多久它就会更为成熟，从而可将“任务关键型”类别的一部分也纳入其中。

对于这一话题，通过不同的置备方法还可以得出另一个观点。左侧是传统的块环境。

如 Srini 所述，大多数存储请求都可以使用 VMware 工具沿着堆栈向上置备。偶尔会有一个性能要求极高的自定义请求，需要沿着堆栈一路向下。Srini 说，随着 IaaS 环境日趋成熟，此类特殊请求出现的频率开始降低。

文件这一端的要求较低，并符合 QoS。服务类别越少，实施和管理越简单。

业务连续性、备份和数据保留
截至目前，我们已经讨论了主要存储，但众所周知，托管的各个方面可能同样具有挑战性：复制、备份、保留等。

EMC 保持业务连续性的内部方法是采用两个地理位置分散的园区（马萨诸塞州霍普金顿和北卡罗来纳州罗利-达勒姆），每个园区配备一个存储库。在此拓扑中会根据业务需求使用多种常见技术。

与许多大型企业相同，至关重要的内容始终运行在 SRDF 上。三个不同的BC/DR 模式会在同一个共享 SRDF 业务连续性基础架构上实现，以满足任意成本点的不同业务需求。

对于 EMC 最为重要的业务关键型应用程序（如我们称之为 Propel 的 SAP 环境），会采用一套相当复杂的流程来克隆和交付日志和存档，以及复制主数据存储。事务数据会同步发送到本地存储库，日志会通过 SRDF/A 异步移动，以实现零数据丢失解决方案。

不要问我它是如何工作的 -- 我已经很长时间不参与日志交付架构的工作了 :)

在 SRDF 范围的另一端，实际采用的标准是 VMware 的 SRM +SRDF/A，它仅会产生几秒钟的数据丢失，而所消耗的资源和所需的工作量大幅降低。

总体来说，这个案例非常简单：业务连续性以服务的形式实现。一边是您的选择，一边是相关成本 -- 制定决策的是业务部门，而不是 IT 部门。

此外，作为重要的 Exchange 2010 环境的一部分，EMC的 Recoverpoint 也会很好地运行。

作为一家公司，EMC 的运行离不开电子邮件；我们当中的许多人通常会携带多个设备，大型文件每日穿梭往来，人们希望交付能接近同步等等。

电子邮件发送不畅对公司内的任何人而言都如同噩梦 -- 无一例外。

关于选择 Recoverpoint 来保护 Exchange环境有一个有趣的故事，但这与本博文有些风马牛不相及。

请注意，Exchange 也已实现完全虚拟化。

文件和对象复制

从事存储相关工作的任何人都非常熟悉，块、文件和对象的远程复制从语义上看是有区别的。EMC IT 也不例外。

与任何大型企业相同，EMC IT 会公平地分布内容，这些内容遍布文件系统和其他存储库。与块复制一样，大多数 EMC 产品组合都将发挥作用。

VNX 文件复制是一项基本的技术；而新的大数据环境则使用基于 Isilon 的 SyncIQ。

Atmos 具有自己的复制模式，非常适用于支持它所提供的服务的内容存储库和应用程序。我们可以采用一个 Centera 场，它主要用于面向合规性的保留。

备份
出于某种原因，大多数情况都可以使用三个不同的选项，可以在简单与有效之间进行很好地折中。我们在上述业务连续性的讨论中看到过这三个选项，而备份的情况则与之相同。

最终用户备份模式表现出来可能会非常简单。我们都可以使用一个 Avamar 客户端，仅此而已。我根本无需知道它的工作状态。

每当我需要检索已经覆盖的文件时，那就是一种自助服务的主张。

尽管我现在是 Syncplicity 用户，但我个人对此服务已不再有任何兴趣 -- 我关心的可能只是同步与共享、向多个客户端复制以及完全版本等。

注意：诸如 Syncplicity 这一类的同步和共享产品并不能取代备份整个 C:/ 驱动器这类的工作；但是像我这种希望要处理的内容比较少的知识型员工来说，这类产品会很有效。

对于普通的虚拟机、非关键型应用程序和文件系统等，会将 Avamar 和Networker 相结合并使用 VSS 实现应用程序一致性，加上自动化安装，使其更便于作为一种服务来使用。对于那些非常重要的数据库，则会将 Networker 和DataDomain 相结合，通常用于数据库克隆。

数据保留
与大多数类似规模的公司一样，EMC 也会出于这样那样的原因而需要保留大量数据。EMC IT 并没有一味追求简单，而是使用了四种不同的保留方法，具体使用哪种方法取决于手头的主要业务目标。

如果为了合规而保留数据，则可以选用具有相应审核控制的 Centera。

如果要将信息作为参考并在日后重复使用，则可以选用 Atmos 场。

您往往希望价格越便宜越好，这时，您可以将 FMA（文件管理存档）与已消除重复数据的 NAS（如 VNX）结合使用。

最后，如果想将业务记录多保留一段时间（7 年以上），则可以选用 DataDomain 扩展保留环境。

所有服务都已介绍清楚，成本和功能已经尽人皆知，业务负责人可决定选择哪项合适 -- 有时需要进行一些培训 :)

还有更简单的视图吗？

Srini 还分享了这个工作负载与阵列图，因为 EMC 的每个员工都想知道数据究竟存储在“何处”。我想也许是因为我们是一家存储公司 - 但不管怎么说，这幅图还是很有用的。

您会看到常见的块/文件/对象、用于表示常见使用情形的图标以及可用于放置数据的相关阵列。

这对最终用户不一定有多重要，但它确实可以为人们提供一个清晰的视图，以便于继续操作 ...

Srini 最近正在研究两个快速发展的环境。

一个是适用于 Hadoop 的大数据环境以及所有相关内容，该环境正在不断发展壮大。我们在这里选择 Isilon 平台，原因有很多，不只是因为它可以提供本机 HDFS 支持。

另一个则是企业 Syncplicity 同步和共享环境的后端，该环境可能会迅速变得非常大。因此，要提供所需的存储服务，重点就是要关注“总的”成本 -- 这方面 Atmos 无疑会成为赢家。

没错，EMC IT 和其他任何人一样也需要为存储付费。

总结
Srini 是第一个承认任何环境都充满着挑战的人，要做的工作还有很多 -- 不仅要迁移到新的技术和运营模式，而且要充分激发存储环境中遗留资产的价值 -- 与其他人一样，他需要充分发挥自己资产的价值...

此外，还有很多团队工作：存储一度被视为 IaaS 不可缺少的组成部分，但随着 IaaS 重塑为新型PaaS 模式，势必需要新的存储服务，并采用新的使用和管理门户，同时，还要与各种架构团队进行全新的交互。

他的团队可能有幸在大型存储供应商工作，这也许会使他们的工作更难一些（因为每个人都是专家）。

无论如何，我认为他的团队迄今为止所做的工作值得关注 -- 这些工作已经取得了显著的进展，并为未来的发展奠定了基础。

欢迎在微博上关注我，这样在我发布博客文章后您就会收到通知，并可以让您了解更多有关 VMware 存储的信息：@VMware中国

--------------------------------------------------------------------------------------------------------------------------------------------------

作者： Chuck Hollis

近日，ChuckHollis 加入了 VMware，担任存储与高可用性部门首席策略专家。在 Chuck Hollis 的领导下，VMware成功发布了一款领先的软件定义的存储解决方案－VSAN。期间，他将其在存储行业和 IT 生态系统方面的真知灼见引入了VMware。加入 VMware 之前，Chuck Hollis 曾经在 EMC 任职 18 年，担任 EMC 全球营销首席技术官。他喜欢与客户和业内人士探讨各类技术话题。当然，也酷爱写博客。Chuck 与妻子和孩子们共同居住在马萨诸塞州的霍利斯顿。