MMLSpark:微软开源的用于Spark的深度学习库

转载 2017年10月24日 13:56:09

MMLSpark为Apache Spark提供了大量深度学习和数据科学工具,包括将Spark Machine Learning管道与Microsoft Cognitive Toolkit(CNTK)和OpenCV进行无缝集成,使您能够快速创建功能强大,高度可扩展的大型图像和文本数据集分析预测模型。
MMLSpark需要Scala 2.11,Spark 2.1+,以及Python 2.7或Python 3.5+。
显着特点
从 HDFS 轻松摄取图像到Spark DataFrame(示例:301)
使用 OpenCV 进行转换的预处理图像数据(示例:302)
使用 CNTK 进行预训练的深层神经网络(示例:301)
使用来自 Keras 预先训练的双向LSTM进行医疗实体提取(示例:304)
在Azure上的N系列GPU虚拟机上训练基于DNN的图像分类模型
通过单个变换器在SparkML中的基元上方使用方便的API实现自由格式的文本数据(示例:201)
列车分类和回归模型容易通过数据的隐式特征化(示例:101)
计算一组丰富的评估指标,包括每个实例的指标(示例:102)
所有的示例可以参见:https://github.com/Azure/mmlspark/tree/master/notebooks/samples
一个简单的示例
以下是使用预先训练的CNN在CIFAR-10数据集中分类图像的简单示例的摘录。完整的代码参见:https://github.com/Azure/mmlspark/blob/master/notebooks/samples/301%20-%20CIFAR10%20CNTK%20CNN%20Evaluation.ipynb
   


 

安装
Docker
使用MMLSpark 的最简单方法是通过预先编译好的Docker container,为了使用它,你先要运行下面的命令:
docker run -it -p 8888:8888 -e ACCEPT_EULA=yes microsoft/mmlspark
然后通过浏览器访问http://localhost:8888,这里我们可以运行简单的示例代码,更详细的使用请参见官方文档:https://github.com/Azure/mmlspark/blob/master/docs/docker.md
Spark package
当然,除了在Docker container里面使用MMLSpark 之外,我们还可以直接通过--packages 选项直接在现有的Spark集群中使用MMLSpark,具体如下:



  更多关于MMLSpark的使用和介绍,请参见官方文档或者到大讲台下载。

相关文章推荐

Spark上的深度学习库MMLSpark 介绍

6 月 2 日,微软正式发布微软认知工具包(Microsoft Cognitive Toolkit,曾用名 CNTK) 2.0 版本。2.0 完整版适用于生产级和企业级的深度学习工作负载,包含自测试版...
  • lovebyz
  • lovebyz
  • 2017年10月24日 14:06
  • 147

MMLSpark:微软开源的用于Spark的深度学习库

如果下面文档格式错乱,请参见https://www.iteblog.com/archives/1899.html,或点击下面阅读原文 进行阅读 MMLSpark为Apache Spark提供了大量深...

微软开源用于Spark的深度学习库MMLSpark

作者|Beining编辑|Emily 微软开源了 MMLSpark,用于 Apache Spark 的的深度学习库。MMLSpark 可以与微软认知工具包和 OpenCV 完美整合。 微软...

BigDL:基于Spark 的深度学习库

  • 2017年03月30日 16:46
  • 1.79MB
  • 下载

在win7下配置微软的深度学习caffe

1.首先去github上下载微软的caffe  https://github.com/Microsoft/caffe  解压文件到任意位置  2.下载CUDA7.5,并安装  https://...

微软 深度学习 培训材料

  • 2014年04月10日 19:25
  • 10.87MB
  • 下载

深度学习系列——windows平台下跑微软caffe实战之运行mnist,cifar10

深度学习系列——windows平台下跑微软的caffe实战之运行mnist,cifar10 为了防止自己遗忘写此博客,请各位大牛多多指正。 Minst训练我的编译环境是在windows平台下面,用微软...
  • wazwx
  • wazwx
  • 2016年04月25日 20:59
  • 2226

altify:用微软的深度学习理解图片

github上有个项目叫altify,使用微软的视觉学习来理解图片,地址:https://github.com/ParhamP/altify下面直接上代码,学习使用。1、altify 打开cmd,输...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:MMLSpark:微软开源的用于Spark的深度学习库
举报原因:
原因补充:

(最多只允许输入30个字)