TensorflowOnSpark 安装

本文档详细介绍了如何在Spark集群上安装TensorflowOnSpark,包括环境配置、软件版本选择、安装步骤及数据准备。针对可能遇到的版本冲突问题,提供了具体的解决方法,并给出了完整的软件包列表和安装顺序。
摘要由CSDN通过智能技术生成

1. spark 集群环境 

spark的安装配置参考《Spark 安装》。本环境是用了6台工作站,规划如下:

序号 主机名 IP 用途
1 bdml-c01 192.168.200.170 客户端
2 bdml-m01 192.168.200.171 namenode
resourcemanager
master
3 bdml-s01 192.168.200.172 datanode
nodemanager
worker
4 bdml-s01 192.168.200.173 datanode
nodemanager
worker
5 bdml-s01 192.168.200.174 datanode
nodemanager
worker
6 bdml-s01 192.168.200.175 datanode
nodemanager
worker

TensorflowOnSpark 的安装参考了《Getting Started TensorFlowOnSpark on Hadoop Cluster》。这篇文章也有误导,以至于我专门装了一个虚拟机去编译tensorflow,实际上是如果你不需要RDMA这个特性的话,完全不需要编译。为编译tensorflow,配置google的Bazel编译环境,费了不少时间。

2. 软件版本 

redhat 7.2 / centOS 7.2

hadoop

评论 14
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值