tensowflow 训练 远程提交_如何在远程存储系统上高效运行TensorFlow ?

场景问题

数据科学家现在越来越流行使用S3或谷歌云存储等远程共享存储来存储大量输入数据，并且使用本地服务器或集群基于TensorFlow等框架训练模型。这种技术栈提供了高灵活性和低成本效率，特别是不再需要开发人员管理和维护数据。然而，从数据访问模式的角度来说，因为在相同的输入上有许多迭代计算，每次将数据从远程存储移动到本地计算训练的流程可能效率不高。

常用链接关注Alluxio微信公众号：Alluxio_China

现有解决方案

在实践中，一个常见的解决方案是将数据复制并分发到本地存储区或运行模型训练流程的服务器附近。这种数据准备过程通常是手工完成或者人工脚本进行，整个调试和运行过程可能很慢，容易出错，并且难以进行大规模管理。此外，在跨多个模型的训练作业(例如，不同实例在同一时间探索参数空间，或者同一团队中不同成员处理相同数据集)之间进行数据共享时，也很难实现灵活的协调。

Alluxio如何提供帮助

理想情况下，从远程到本地的训练数据准备过程和数据共享过程应该是自动化的，并且是对应用程序透明的。用户可以通过部署像Alluxio这样的数据编排层，将数据提供给TensorFlow，从而提高端到端的模型开发效率。例如，Alluxio可以与训练集群一起部署，远程存储(如S3) 挂载到Alluxio，并通过Alluxio POSIX或HDFS兼容的接口对外暴露训练数据。训练数据可以从远程存储预加载到Alluxio，也可以进行按需缓存。更多的相关详细信息，请参阅文档。