关注
分享
文章平均质量分 50
这个专栏，主要介绍和评估目前的python的第三方的深度学习框架（比如keras），以及如何把这个框架架构在Apache Spark集群上（比如elephas）。
Richard_More
学习笔记（金融＋计算机）
展开
-
spark集群上如何配置深度学习elephas框架的操作流程（shell版）
这个博客是回答 elephas解析第一篇 中评论区中的问题，我就把自己在一个自己的集群上面，把搭建深度学习框架elephas，theano，keras，tensorflow的操作流程post在这里。我在安装之前的集群信息如下：4台ubuntu15的机器，其中一台配置host为master，其他四台为slave02，slave03，slave04.在这个4台已经配置好hadoop集群，原创 2016-12-01 14:48:32 · 2590 阅读 · 3 评论 -
mnist_mlp_spark_CC.py
from __future__ import absolute_importfrom __future__ import print_functionfrom keras.datasets import mnistfrom keras.models import Sequentialfrom keras.layers.core import Dense, Dropout, Activat原创 2016-11-24 21:45:41 · 1329 阅读 · 0 评论 -
评估深度学习架构在Spark集群的应用：从theano，keras到elephas
最终目标最终目标：为了提高机器学习特别是深度学习的计算速度。提供的速度有三个方法：让算法的变得更加聪明（数据结构）；让单个机器的计算能力增强（更好的CPU／GPU）；让计算并行化（多线程；Hadoop／Spark）。本文仅仅探索第三种方式：评估不同的深度学习框架（是否支持GPU，易于实现，速度快）以及其如何并行化于分布式的集群之上。theano是一个python的包，用数组向量来定义和计算原创 2016-11-18 12:33:23 · 4698 阅读 · 0 评论 -
解析Spark开源框架elephas之二
run一个elephas例子下面基于Spark，本地运行一个例子，这个代码可以在http://download.csdn.net/detail/richard_more/9691563 这里下载。spark-submit --master local[3] mnist_mlp_spark_CC.py 我的部分结果见下图：16/11/23 20:28:05 INF原创 2016-11-23 20:55:54 · 2160 阅读 · 0 评论 -
如何基于Spark做深度学习：从Mllib到keras，elephas
Spark ML model pipelines on Distributed Deep Neural NetsThis notebook describes how to build machine learning pipelines with Spark ML for distributed versions of Keras deep learning models. As data set转载 2016-11-18 12:58:24 · 5127 阅读 · 0 评论 -
解析Spark开源框架elephas之一
写在前面的话elephas是一个把python深度学习框架keras衔接到Spark集群的第三方python包。由于这个版本并不稳定，并且没有什么资料，我打算剖析其源代码。分析代码要从其主程序开始，就是spark_model.py，其网址在 https://github.com/maxpumperla/elephas/blob/master/elephas/spark_model.原创 2016-11-19 23:14:30 · 4090 阅读 · 16 评论