MMLSpark:微软开源的用于Spark的深度学习库

转载 2017年10月24日 13:56:09

MMLSpark为Apache Spark提供了大量深度学习和数据科学工具,包括将Spark Machine Learning管道与Microsoft Cognitive Toolkit(CNTK)和OpenCV进行无缝集成,使您能够快速创建功能强大,高度可扩展的大型图像和文本数据集分析预测模型。
MMLSpark需要Scala 2.11,Spark 2.1+,以及Python 2.7或Python 3.5+。
显着特点
从 HDFS 轻松摄取图像到Spark DataFrame(示例:301)
使用 OpenCV 进行转换的预处理图像数据(示例:302)
使用 CNTK 进行预训练的深层神经网络(示例:301)
使用来自 Keras 预先训练的双向LSTM进行医疗实体提取(示例:304)
在Azure上的N系列GPU虚拟机上训练基于DNN的图像分类模型
通过单个变换器在SparkML中的基元上方使用方便的API实现自由格式的文本数据(示例:201)
列车分类和回归模型容易通过数据的隐式特征化(示例:101)
计算一组丰富的评估指标,包括每个实例的指标(示例:102)
所有的示例可以参见:https://github.com/Azure/mmlspark/tree/master/notebooks/samples
一个简单的示例
以下是使用预先训练的CNN在CIFAR-10数据集中分类图像的简单示例的摘录。完整的代码参见:https://github.com/Azure/mmlspark/blob/master/notebooks/samples/301%20-%20CIFAR10%20CNTK%20CNN%20Evaluation.ipynb
   


 

安装
Docker
使用MMLSpark 的最简单方法是通过预先编译好的Docker container,为了使用它,你先要运行下面的命令:
docker run -it -p 8888:8888 -e ACCEPT_EULA=yes microsoft/mmlspark
然后通过浏览器访问http://localhost:8888,这里我们可以运行简单的示例代码,更详细的使用请参见官方文档:https://github.com/Azure/mmlspark/blob/master/docs/docker.md
Spark package
当然,除了在Docker container里面使用MMLSpark 之外,我们还可以直接通过--packages 选项直接在现有的Spark集群中使用MMLSpark,具体如下:



  更多关于MMLSpark的使用和介绍,请参见官方文档或者到大讲台下载。

Spark上的深度学习库MMLSpark 介绍

6 月 2 日,微软正式发布微软认知工具包(Microsoft Cognitive Toolkit,曾用名 CNTK) 2.0 版本。2.0 完整版适用于生产级和企业级的深度学习工作负载,包含自测试版...
  • lovebyz
  • lovebyz
  • 2017-10-24 14:06:46
  • 553

使用Spark构建聚类模型

将使用一个模型(推荐模型)的输出作为另外一个模型(聚类模型)的输入 import org.apache.spark.mllib.clustering.KMeans import org.apach...
  • lovebyz
  • lovebyz
  • 2016-05-01 15:53:31
  • 2401

MMLSpark:微软开源的用于Spark的深度学习库

MMLSpark为Apache Spark提供了大量深度学习和数据科学工具,包括将Spark Machine Learning管道与Microsoft Cognitive Toolkit(CNTK)和...
  • away30
  • away30
  • 2017-10-24 13:56:09
  • 1072

SnappyData-一个构建在Spark上的支持实时HTAP场景的解决方案

1、设计目标 1、实时的OLTP+OLAP型的操作   2、数据规模在50TB-100TB以下:太大规模的数据(PB规模),还要求实时出结果的场景,并不是SnappyData的设计目标。   3、微批...
  • lovebyz
  • lovebyz
  • 2018-03-28 14:53:30
  • 59

Intel开源深度学习库BigDL:Non GPU on Spark

Intel开源了基于Apache Spark的分布式深度学习框架BigDL。BigDL借助现有的Spark集群来运行深度学习计算,并简化存储在Hadoop中的大数据集的数据加载。 BigDL适用的应...
  • openfea
  • openfea
  • 2017-03-15 10:37:57
  • 857

spark整合kafka打包运行错误处理

scala> val kafkaDS= KafkaUtils.createDirectStream[String,String,StringDecoder,StringDecoder](ssc,kaf...
  • lovebyz
  • lovebyz
  • 2017-07-12 11:13:49
  • 310

「官文译」Spark 结构Streaming-2.1.1 + Kafka 集成指南 (Kafka broker version 0.10.0 or higher)

创建Kafka源(Batch批次) 源中的每一行都具有以下模式: Each row in the source has the following schema: Column Type...
  • lovebyz
  • lovebyz
  • 2017-07-11 15:47:23
  • 1122

开源深度学习库对比总结

  • thesby
  • thesby
  • 2016-05-16 14:53:14
  • 2398

BigDL:基于Spark 的深度学习库

  • 2017年03月30日 16:46
  • 1.79MB
  • 下载

Spark在线广告点击预测

* 在线广告点击预测,若网页中广告发生点击计为1,否则0. * 每次曝光的特征向量由曝光事件的相关特征变量组成(如:用户、URL、网页id、网页内容、广告、广告客户、设备类型、事件、地理位置等其...
  • lovebyz
  • lovebyz
  • 2016-06-30 16:42:16
  • 1157
收藏助手
不良信息举报
您举报文章:MMLSpark:微软开源的用于Spark的深度学习库
举报原因:
原因补充:

(最多只允许输入30个字)