分布式深度学习框架TensorFlowOnSpark

最新推荐文章于 2024-07-23 11:00:49 发布

缘定三石

最新推荐文章于 2024-07-23 11:00:49 发布

阅读量4.5k

点赞数

分类专栏：深度学习 Spark 文章标签：深度学习 spark tensorflow

本文链接：https://blog.csdn.net/tian_qing_lei/article/details/78723286

版权

TensorFlowOnSpark是Yahoo开源的项目，它将TensorFlow与Spark结合，为Hadoop和Spark集群提供分布式深度学习能力。该项目解决了跨集群数据传递问题，允许在Sparkexecutor中运行TensorFlow组件，通过gRPC或RDMA通信。TensorFlowOnSpark支持所有TensorFlow功能，包括同步/异步训练、模型/数据并行、inferencing和TensorBoard。它可以轻松与现有数据处理和机器学习算法整合，但目前缺乏详细文档和社区支持。

摘要由CSDN通过智能技术生成

TensorFlowOnSpark分析

TensorFlowOnSpark（https://github.com/yahoo/TensorFlowOnSpark）项目是由Yahoo开源的一个软件包，能将TensorFlow（https://github.com/tensorflow/tensorflow）与Spark结合在一起使用，为ApacheHadoop和ApacheSpark集群带来可扩展的深度学习功能。使Spark能够利用TensorFlow拥有深度学习和GPU加速计算的能力。传统情况下处理数据需要跨集群（深度学习集群和Hadoop/Spark集群）,Yahoo为了解决跨集群传递数据的问题开发了TensorFlowOnSpark项目。TensorFlowOnSpark目前被用于雅虎私有云中的Hadoop集群，主要进行大规模分布式深度学习使用。