机器学习平台系列（三） - PySpark组件依赖的虚拟环境：Keras 和 Tensorflow 版本对应关系

目录

1.背景介绍

2.PySpark环境

3.问题描述

4.原因分析

---

1.背景介绍

机器学习平台底层基于大数据平台提供计算资源，在机器学习平台上主要使用 Spark MLlib 实现了共 7 类（源/目标、统计分析、数据预处理、特征工程、机器学习、工具、文本分析） 90+ 个组件（每个组件代表内置的逻辑片段），目的是减少用户重复开发工作、降低机器学习门槛。

 

2.PySpark环境

 

工具类组件中有【PySpark组件】，底层使用在虚拟机上通过 Anaconda 创建的虚拟环境作为每个组件实例具体执行环境。

 

3.问题描述

 

在使用 Keras（Tensorflow）中基于神经网络的降维方法 AutoEncoder 识别异常点时，出现如下错误：

 

4.原因分析

 

在虚拟机中使用 conda 命令安装 keras： "conda install -c conda-forge keras"，如下图所示：

 

Keras 版本 Tensorflow 版本的对应关系（https://docs.floydhub.com/guides/environments/）如下图所示：

 

故可以使用命令 "conda install -c conda-forge keras=2.2.0" 安装指定版本的 keras。