- 博客(11)
- 资源 (5)
- 收藏
- 关注
转载 深度学习:Pre-Training的理解
转自(非常感谢原文作者) http://www.cnblogs.com/neopenx/p/4575527.htmlLogistic回归、传统多层神经网络1.1 线性回归、线性神经网络、Logistic/Softmax回归线性回归是用于数据拟合的常规手段,其任务是优化目标函数:线性回归的求解法通常为两种:①解优化多元一次方程(矩阵)的传统方法,在数值分析里通常被称作
2017-02-28 14:02:00 14195
转载 生成式对抗网络GAN汇总
关于生成式对抗学习(Generative Adversarial Network, GAN)相关文章的阅读整理以及资源汇总。文章:Generative Adversarial Nets (2014)[paper][code] Ian Goodfellow第一篇提及生成式对抗学习的文章,开创性的工作。 – 提出了通过对抗网络来估计生成模型。 – 理论阐述了模型
2017-02-25 17:35:33 618
转载 Yann Lecun 深度学习建议
问:自学机器学习技术,你有哪些建议?在网上有很多关于Machine Learning 的材料、教程和视频课程,包括 Coursera 上的一些大学课程。这里我主要讲讲深度学习领域。你可以在网上听一些指导性课程和演讲,对深度学习有一个大致的了解。里面我比较推荐的有:2015年5月《自然》上刊登的一篇概述性论文《深度学习》(Deep learning),由我自己、Yoshua Be
2017-02-17 15:50:47 564
转载 深度学习:基于梯度下降不同优化算法的比较总结
这里讨论的优化问题指的是,给定目标函数f(x),我们需要找到一组参数x,使得f(x)的值最小。本文以下内容假设读者已经了解机器学习基本知识,和梯度下降的原理。SGDSGD指stochastic gradient descent,即随机梯度下降。是梯度下降的batch版本。对于训练数据集,我们首先将其分成n个batch,每个batch包含m个样本。我们每次更新都利用一个batch的数
2017-02-15 11:13:51 3492
转载 深度学习:正则化方法
正则化是机器学习中非常重要并且非常有效的减少泛华误差的技术,特别是在深度学习模型中,由于其模型参数非常多非常容易产生过拟合。因此研究者也提出很多有效的技术防止过拟合,比较常用的技术包括:参数添加约束,例如L1、L2范数等训练集合扩充,例如添加噪声、数据变换等Dropout该文主要介绍深度学习中比较常见几类正则化方法以及常用参数选择,并试图解释其原理。正则化技术参数惩罚
2017-02-14 18:27:49 18103
转载 深度学习caffe:最优化方法
上文提到,到目前为止,caffe总共提供了六种优化方法:Stochastic Gradient Descent (type: "SGD"),AdaDelta (type: "AdaDelta"),Adaptive Gradient (type: "AdaGrad"),Adam (type: "Adam"),Nesterov’s Accelerated Gradient (type: "Ne
2017-02-14 18:17:49 6665
转载 深度学习caffe:损失函数
机器学习的目的就是通过对训练样本输出与真实值不一致的进行惩罚,得到损失Loss,然后采用一定的优化算法对loss进行最小优化,进而得到合理的网络权值。本文介绍Caffe中含有的常见的LossLayer及其参数设置方法Caffe的LossLayer主要由6个:(1)ContrastiveLossLayer对比损失函数主要用来训练siamese网络,改网络为专门处理同时输入两张图像的网
2017-02-14 18:07:37 2691
转载 深度学习caffe:激活函数
在激活层中,对输入数据进行激活操作(实际上就是一种函数变换),是逐元素进行运算的。从bottom得到一个blob数据输入,运算后,从top输入一个blob数据。在运算过程中,没有改变数据的大小,即输入和输出的数据大小是相等的。输入:n*c*h*w输出:n*c*h*w常用的激活函数有sigmoid, tanh,relu等,下面分别介绍。1、Sigmoid对每个输入数据,利用sig
2017-02-14 17:53:51 1083
转载 如何提升深度学习的性能
20个你可以用来避免过拟合和得到更好的泛化的技巧我经常被问到诸如如何从深度学习模型中得到更好的效果的问题,类似的问题还有:我如何提升准确度如果我的神经网络模型性能不佳,我能够做什么?对于这些问题,我经常这样回答,“我并不知道确切的答案,但是我有很多思路”,接着我会列出了我所能想到的所有或许能够给性能带来提升的思路,。为避免一次次罗列出这样一个简单的列表,我决定把所有想法详细写在
2017-02-14 17:51:34 795
转载 深度学习caffe:权值初始化
首先说明:在caffe/include/caffe中的 filer.hpp文件中有它的源文件,如果想看,可以看看哦,反正我是不想看,代码细节吧,现在不想知道太多,有个宏观的idea就可以啦,如果想看代码的具体的话,可以看:http://blog.csdn.net/xizero00/article/details/50921692,写的还是很不错的(不过有的地方的备注不对,不知道改过来了没)。
2017-02-14 17:49:47 1713
转载 【Stanford CNN课程笔记】5. 神经网络解读1 几种常见的激活函数
标签: 神经网络cnn斯坦福大学激活函数2016-03-05 20:40 3289人阅读 评论(3) 收藏 举报本文章已收录于: 深度学习知识库 分类:课程笔记(5) DNN(14) 版权声明:本文为博主原创文章,转载请注明。目录(?)[+]本课程笔记是基于今年斯坦福大学Feifei L
2017-02-12 10:10:00 2585
仿人机器人
2018-08-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人