TensorflowOnSpark 安装

最新推荐文章于 2021-10-25 17:57:18 发布

hjh00

最新推荐文章于 2021-10-25 17:57:18 发布

阅读量8.3k

点赞数 1

分类专栏： hadoop python 文章标签： TensorflowOnSpark tensorflow spark yarn Python

本文链接：https://blog.csdn.net/hjh00/article/details/64439268

版权

本文档详细介绍了如何在Spark集群上安装TensorflowOnSpark，包括环境配置、软件版本选择、安装步骤及数据准备。针对可能遇到的版本冲突问题，提供了具体的解决方法，并给出了完整的软件包列表和安装顺序。

摘要由CSDN通过智能技术生成

1. spark 集群环境

spark的安装配置参考《Spark 安装》。本环境是用了6台工作站，规划如下：

序号	主机名	IP	用途
1	bdml-c01	192.168.200.170	客户端
2	bdml-m01	192.168.200.171	namenode resourcemanager master
3	bdml-s01	192.168.200.172	datanode nodemanager worker
4	bdml-s01	192.168.200.173	datanode nodemanager worker
5	bdml-s01	192.168.200.174	datanode nodemanager worker
6	bdml-s01	192.168.200.175	datanode nodemanager worker

TensorflowOnSpark 的安装参考了《Getting Started TensorFlowOnSpark on Hadoop Cluster》。这篇文章也有误导，以至于我专门装了一个虚拟机去编译tensorflow，实际上是如果你不需要RDMA这个特性的话，完全不需要编译。为编译tensorflow，配置google的Bazel编译环境，费了不少时间。

2. 软件版本

redhat 7.2 / centOS 7.2

hadoop