【流程】影视和游戏的IT基础设施详解

文章发于微信公众号（DanggooTD），感兴趣的话请关注查看原图文~

最近和朋友合作翻译一本国外的流程书籍，叫《Production Pipeline Fundamentals for Film and Games》，中文译为《电影和游戏生产流程基础》，这里挑了第六章翻译了出来。这章对IT的朋友来说可能很受用，我觉得这里列出的所有要点基本能够满足国内大小影视公司的通用需求。当然此书非常优秀，是少有的关于影视和游戏生产流程的书籍，还有很多关于生产流程中的一些详细介绍，有些陆续在这里（<-点这个蓝色的字！）放出来，欢迎大家去凑热闹！

感谢谷歌翻译！为我省了很多时间。如果文章中有读不懂的个别句子...请自行跳过！！。懒得排版，反正没啥人看（截至目前一共17个粉丝啦！谢谢你们的支持！），就当记个笔记，留着以后作参考。

文章太长，我就拆成了几篇来发。这篇发第一二节，剩下的章节在下面的图文里，可以点开历史消息进行查看。

第六章

系统基础设施

 

Tim Green; Matt H·esterey; Hannes Ricklefs; Mark Streatfield; Steve The·d·re; Laurent M. Abecassis: Di-·-Matic; Ben Carter: Game Devel·per and Auth·r, Heavy Spectrum Entertainment Labs; The M·ti·n Picture Ass·ciati·n ·f America; Martin Weaver: Head ·f C·re Systems, MPC; Fran Zand·nella: Internati·nal Seni·r Pipeline TD, Rhythm & Hues

 

6.1此章你将了解

生产流程的健壮性和系统基础设施（IT）息息相关。在本章中，我们将探讨这些硬件和软件如何影响流程的开发和管理。我们将首先了解电影和游戏工作所需的各种基础设施，然后检查与任何流程相关的关键问题，包括管理操作系统和实用程序软件的需求，以及流程安全性的需求。

 

6.2 电影IT：硬件类型

电影制作对数据有着极大的依赖。高精度的模型，复杂的绑定，解算缓存和高分辨率渲染，单个电影可以生成许多TB的数据，而同时运行多个项目的设备所存储的数据很容易达到PB的级别（1PB=1024TB）。在这种极端环境中，健壮的基础设施至关重要。

硬件如何组装取决于公司的组织方式。公司可以组装一套单一设施，或者——因为现在出现的越来越普遍的现象就是，收购海外的公司或者在海外设立工作室—— 组装多套设施，通过私有网络来进行连接。

任何这些方案至少需要以下类型的硬件：

·工作站（台式机和笔记本电脑）

·网络（电缆，交换机和Wi-Fi连接）

·核心服务器（用于电子邮件，用户帐户，DNS，数据库等）

·存储集群（用于数据存储和备份）

·渲染农场（用于处理计算密集型任务）

·电话和通信硬件

·备用电源（通常不足以为整个设施供电，特别是渲染服务器场，但足以使核心服务保持活动状态或正常关闭电源）

在任何这些方案中，以下类型的硬件都是可选的，但接近通用：

·额外的监视器（给艺术家）

·图形平板电脑（给艺术家）

·耳机（给动画师用于做口型）

·剧照相机，摄像机和麦克风（用于录制参考资料：这些设备通常可以在几位艺术家之间共享）

具有多个设施的方案需要以下其他类型的基础架构：

·专用网络连接或专用路由设置（以确保站点之间有足够的带宽）

·每个设施之间的加速数据传输的某种形式

·视频会议设备（理想情况下，使用远程屏幕共享系统）

其中两个主要成本是存储集群和渲染农场，特别是涉及“capex”（基本建设费用）时。我们将更详细地研究每一个。

 

6.3电影IT：存储集群

 

存储群集是保存所有生产数据的文件服务器群集。为了确保有足够的数据可用，大多数工作室将其存储分解为多个层：

•第1层：可供生产使用的存储

•第2层近线存储：生产终端计算机无法访问，但可用作“停车场”的磁盘，可以从第1层存储中快速获取离线数据

•基于磁带的存储：用于生产数据的长期归档，最有可能是最终输出给客户

 

虽然经常被忽视，但设施的工作站和本地渲染机也是存储空间的来源。本地计算机上可用的总空间通常大于托管存储中可用的空间，这意味着在规划存储要求时应考虑本地缓存策略和代理生成。

第1层和第2层存储包括来自EMC Isilon或NetApp等供应商的NAS（网络连接存储）设备。在第1层存储中使用的那些更昂贵但更快，针对读取性能进行了优化;在第2层中使用的那些更便宜但更慢。

图6.1快速网络连接存储设备（如EMC Isilon的IQ 3000x）用于为艺术家提供对生产文件的直接和“近线”访问。
 

在规划托管存储时，重要的是要考虑许多问题：

·渲染农场如何与存储交互

·如何跟踪生成的数据量以及上次访问数据的时间

·如何向艺术家呈现存储：多个磁盘或单个数据

·哪些数据对生产至关重要

·需要归档哪些数据以及需要多长时间

·如何监控存储

最大的问题之一是渲染农场与存储交互的方式。在VFX生产中工作的每个人都会遇到一种情况，即单个渲染器会使整个设施瘫痪。在大多数情况下，这是由于某个贴图文件存储在一个磁盘上，而有数千台计算机试图通过网络访问。为了避免这种情况，渲染服务器场可以连接到SSD缓存系统，例如由Avere生成的系统，或者为文件I / O（输入/输出）优化的其他专用系统。但是，这样的系统价格很高，等效的2TB高性能系统售价数千美元，CTO就会抱怨了“这也太丫的贵了吧？我刚买了一个2TB的外置硬盘只要100美元！”

集群的采购通常是递增的，每年或每次主要生产都会增加额外的产能。在较大的设施中，这是由专门的数据操作部门处理，与IT、R&D(研发)和生产联系。在较小的设施中，它由IT处理。

设施的备份和归档功能也必须与存储群集一起增长。这里，存储器由LTO（Linear Tape-Open）半英寸磁带盒组成。磁带采用条形码编码，以将它们与特定项目相关联，然后存档在“库”中。这些通常是由HP和IBM等供应商生产的自动化系统，包括一个机器人，可在需要时自动将磁带加载到磁带机中。

备份过程由诸如CommVault等商业供应商或Bacula等开源替代品生成的软件控制。备份按照工作室可以管理的频率逐步增加：通常至少每天，但不少于每周。

一旦项目完成，存档通常是一次性操作——或者对于大型项目，镜头或者序列完成时进行一次 ——并且可以涉及将数据的副本发送给客户。通常会保留两份磁带，一份在现场，一份在场外。这两个过程都有很高的“opex”（“运营支出”或“运营费用”的缩写）。此时的“快照”，即只读的数据副本，也将用于辅助数据管理。

经常被忽视的另一个步骤是恢复过程：确保您彻底了解该过程，并在需要使用之前对其进行测试。由于数据恢复管理不善导致的停机是极其不应该的，因此未经测试的备份系统根本不是备份系统。

一旦到位，存储群集将需要持续监控，以确保有足够的可用磁盘空间可用于生产。常见的数据管理策略包括在一段时间后将文件从快速存储移动到慢速存储，或者仅在线保留一定数量的先前版本的资产。一些工作室甚至设置了自动数据剔除程序，要么删除在给定时间段内未访问过的文件，要么根据文件路径（例如，Playblasts数据，或临时渲染数据（可以很容易从其他文件再次生产出来），无需长时间在线存储）。在资产管理系统的范围之外，艺术家和制作人员有责任管理他们自己的本地数据足迹，删除他们不需要的硬盘驱动器文件。

需要考虑的另一个问题是3D数据往往具有相当短的半衰期。主要商业工具的开发人员每12到18个月发布一次他们软件的新版本，专业工具和插件来去匆匆。绝对不能确定使用最新版本的软件可以可靠地打开四年或五年的文件。

这对于需要维持正在进行的IP的核心资产的工作室来说是一个严重的问题，例如可能产生续集的电影。即使不再需要旧资产进行制作，它们也是制作最新电影的艺术家的重要参考资料。

一些工作室以稳定的文件格式（例如OBJ或FBX）存档关键资产，这些资产与特定版本的第三方软件的关系较少。还有些工作室是将计算机保存起来，包括它的系统、软件和生产内容。当然，这是解决高科技问题的一种令人尴尬的低技术解决方案，但实用主义是参与生产流程的任何人的关键优势。虚拟机映像是实现相同结果的另一种方法，无需保留可能不可靠的硬件。

流程团队应记录存储设施的历史指标。在规划下一次生产需要多少存储空间时，了解每个用户，部门，镜头或项目生成了多少数据是有用的信息。强制性地，专用进程将每天搜索文件系统，查询每个文件以获取上次访问它的信息，其所有者，其大小和位置等信息。这可以与来自资产管理系统的数据（例如，拍摄文件所属的数据）相结合，并通过公司网页上的“仪表板”界面提供，高级员工可以通过该界面执行自定义分析。许多第三方软件供应商专门从事此类任务：例如，Zenoss提供用于监控存储使用情况的系统。

这样做有几个很好的缘由：

数据有成本

计算每千兆字节的存储数据的成本——包括购买，供电和维护服务器的成本，以及支付数据管理员来管理流程，使工厂能够更准确地预算未来的工作。
数据占据空间

计算每个镜头，每个资产或每个艺术家所需的平均存储量使设施能够预测未来项目所需的存储量。

数据模式使用随时间的变化

随着工作流程的发展，“重要”项目生成的数据量也会发生变化。有时，因果关系可能并不明显：例如，新工具可能会导致磁盘使用意外突然出现。将这些变化追溯到其来源使流程工作人员，能够最大限度地减少问题并更准确地预测未来的数据使用。

请记住：在视觉效果工作中，没有“存储空间太大”这样的东西。这个行业，一个流体模拟就可能达到TB级别。