2016年10月_Yaphat

原创 H2O学习笔记（七）——Deep Water

Deep Water是一个深度学习框架，集成了MXNet, Caffe, TensorFlow，可以实现GPU优化的深度学习模型。目前项目还在开发中。两张图可以描述Deep Water的优点：Deep Water号称最好的深度学习框架，从上面的张图里可以看出，Deep Water集成了mxnet,TensorFlow,Caffe三个框架，这三个框架每个都有自己的特点，如果Deep Water取长补短

2016-10-27 14:57:23 3247

原创 H2O学习笔记（六）—— Steam

SteamSteam智能引擎是一个端对端的平台，可以将构建和部署小应用的整个流程结合在一起。数据科学家和开发者可以协同合作，训练和部署预测模型，并将这些模型用于实时的小应用中。Steam可以运行在YARN上，并可以独立运行，由于我没有hadoop集群环境，所以这里用单机运行演示。Steam是一个能够将构建和部署应用结合在一起的平台本地机器安装和启动Steam1.安装Steam到本地略2.启动 Jet

2016-10-27 10:15:22 3298

原创 H2O学习笔记（五）——Deep Autoencoders

先前的部分介绍了监督Deep Learning内容，Deep Learning 也可以用作非监督特征学习，尤其是在非线性降维方面。Deep AutoencodersDeep Autoencoders的原理可以看UFLDL的教程例子：Anomaly Detection#Import ECG train and test data into the H2O clusterfrom h2o.estima

2016-10-26 16:02:59 3206

原创 H2O学习笔记（四）——Deep Learning 例子

这里写图片描述##MNIST Digit ClassificationMNIST一个比较出名的数据集，包括60000张训练图片和10000张测试图片，每张图片是一个手写数字，包括282像素值的手写识别数据,扫描的手写数字如下图所示：Example in pythonimport h2ofrom h2o.estimators.deeplearning import H2ODeepLearningEs

2016-10-26 14:15:30 5376

原创 H2O学习笔记（三）—— Deep Learning

H2O Deep Learning 模块Activation and Loss函数H2O支持的Activation Functionstanh函数关于0对称，使得训练算法收敛较快 Rectified Linear函数在图像识别上面有较高的性能表现 Maxout函数是广义的Rectified Linear函数对于响应变量，可以指定以下的几个分布函数：每一个分布都有对应的损失函数，Bernoulli

2016-10-22 15:32:33 5702

原创 H2O学习笔记（二）——H2O Flow

H2O Flow运行深度学习算法demo（一）启动H2Ojava -jar h2o.jar -flow_dir /[ENTER_PATH_TO_FLOW_DIRECTORY_HERE]-flow_dir 参数是为了指定flow在本地磁盘保存的位置。H2O有两种类型的参数JVM argumentsH2O arguments在浏览器打开http://localhost:54321,这就是H2O F

2016-10-22 13:23:46 7214 2

原创 H2O学习笔记（一）—— H2O概述

H2O框架简介H2O是开源的，分布式的，基于内存的，可扩展的机器学习和预测分析框架，适合在企业环境中构建大规模机器学习模型。H2O核心代码使用Java编写，数据和模型通过分布式 Key/Value 存储在各个集群节点的内存中。H2O的算法使用Map/Reduce框架实现，并使用了Java Fork/Join框架来实现多线程。H2O目前支持的机器学习算法有DRF,GBM,GLM,GLRM,Kmeans

2016-10-22 11:29:52 19273 1

原创特征选择

Relevance analysis：类别和特征之间的相关性，排序，取前面几个特征方法包括：卡方值(chi-square,CS) 对称不确定性（symmetrical uncertainty,SU ） ReliefFRedundancy analysis: 特征之间存在冗余，删除冗余特征Relevance analysis&Redundancy analysis:两个一起考虑方法包括：CFS

2016-10-21 21:05:21 2804

Yaphat的博客