深度学习:Pre-Training的理解

转自(非常感谢原文作者) http://www.cnblogs.com/neopenx/p/4575527.html Logistic回归、传统多层神经网络 1.1 线性回归、线性神经网络、Logistic/Softmax回归 线性回归是用于数据拟合的常规手段,其任务是优化目标函数: 线性回...

2017-02-28 14:02:00

阅读数 4250

评论数 0

生成式对抗网络GAN汇总

关于生成式对抗学习(Generative Adversarial Network, GAN)相关文章的阅读整理以及资源汇总。 文章: Generative Adversarial Nets (2014)[paper][code]  Ian Goodfellow第一篇提及生...

2017-02-25 17:35:33

阅读数 438

评论数 0

Yann Lecun 深度学习建议

问:自学机器学习技术,你有哪些建议? 在网上有很多关于Machine Learning 的材料、教程和视频课程,包括 Coursera 上的一些大学课程。这里我主要讲讲深度学习领域。 你可以在网上听一些指导性课程和演讲,对深度学习有一个大致的了解。里面我比较推荐的有: 2015年5月...

2017-02-17 15:50:47

阅读数 379

评论数 0

深度学习:基于梯度下降不同优化算法的比较总结

这里讨论的优化问题指的是,给定目标函数f(x),我们需要找到一组参数x,使得f(x)的值最小。 本文以下内容假设读者已经了解机器学习基本知识,和梯度下降的原理。 SGD SGD指stochastic gradient descent,即随机梯度下降。是梯度下降的batch版本。 对于训练数...

2017-02-15 11:13:51

阅读数 2596

评论数 0

深度学习:正则化方法

正则化是机器学习中非常重要并且非常有效的减少泛华误差的技术,特别是在深度学习模型中,由于其模型参数非常多非常容易产生过拟合。因此研究者也提出很多有效的技术防止过拟合,比较常用的技术包括: 参数添加约束,例如L1、L2范数等训练集合扩充,例如添加噪声、数据变换等Dropout 该文主...

2017-02-14 18:27:49

阅读数 12469

评论数 0

深度学习caffe:最优化方法

上文提到,到目前为止,caffe总共提供了六种优化方法: Stochastic Gradient Descent (type: "SGD"),AdaDelta (type: "AdaDelta"),Adaptive Gradient (type: &quo...

2017-02-14 18:17:49

阅读数 4761

评论数 0

深度学习caffe:损失函数

机器学习的目的就是通过对训练样本输出与真实值不一致的进行惩罚,得到损失Loss,然后采用一定的优化算法对loss进行最小优化,进而得到合理的网络权值。本文介绍Caffe中含有的常见的LossLayer及其参数设置方法 Caffe的LossLayer主要由6个: (1)Contrastive...

2017-02-14 18:07:37

阅读数 2369

评论数 0

深度学习caffe:激活函数

在激活层中,对输入数据进行激活操作(实际上就是一种函数变换),是逐元素进行运算的。从bottom得到一个blob数据输入,运算后,从top输入一个blob数据。在运算过程中,没有改变数据的大小,即输入和输出的数据大小是相等的。 输入:n*c*h*w 输出:n*c*h*w 常用的激活函数有si...

2017-02-14 17:53:51

阅读数 758

评论数 0

如何提升深度学习的性能

20个你可以用来避免过拟合和得到更好的泛化的技巧 我经常被问到诸如如何从深度学习模型中得到更好的效果的问题,类似的问题还有: 我如何提升准确度如果我的神经网络模型性能不佳,我能够做什么? 对于这些问题,我经常这样回答,“我并不知道确切的答案,但是我有很多思路”,接着我会列出了我所能想到的...

2017-02-14 17:51:34

阅读数 358

评论数 0

深度学习caffe:权值初始化

首先说明:在caffe/include/caffe中的 filer.hpp文件中有它的源文件,如果想看,可以看看哦,反正我是不想看,代码细节吧,现在不想知道太多,有个宏观的idea就可以啦,如果想看代码的具体的话,可以看:http://blog.csdn.net/xizero00/article/...

2017-02-14 17:49:47

阅读数 1244

评论数 0

【Stanford CNN课程笔记】5. 神经网络解读1 几种常见的激活函数

标签: 神经网络cnn斯坦福大学激活函数 2016-03-05 20:40 3289人阅读 评论(3) 收藏 举报 本文章已收录于:   深度学习知识库  分类: 课程笔记(5)  DNN(14)  版权声明:本文为博主原创文章,转载请注明。 ...

2017-02-12 10:10:00

阅读数 1227

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭