- 博客(7)
- 收藏
- 关注
RSS订阅原创 dropout、dropconnect、maxout和stochastic pooling
标题的四个方法分别是这两年来Deep Learning中对深度网络的一种正则化的trick，至于什么是什么时正则化，我也不清楚，姑且认为这些都是防止网络过拟合的技术吧。 Dropout：直接参考tornadomeet的博文：http://www.cnblogs.com/tornadomeet/p/3258122.htmlDropout是指在模型训练时随机让网络某些隐含层节点的权重不工作
2013-11-09 00:03:34
9667
2
转载 [知识备份]向量卷积
【功能简介】求向量卷积或进行多项式乘法运算。长度为m的向量u与长度为n的向量v的卷积（Convolusion）定义为w(k)=sum(u(j)*v(k+1-j))。向量w的长度为m+n-1。【语法格式】 w=conv(u,v) 返回向量u和v的卷积。【实例3.32】求两个全1向量的卷积。 >> a=[1,1,1,1]; >> b=[1,1,1]; >> c=conv
2013-11-08 22:27:35
3674
原创 cuda-convnet代码阅读笔记
在Layer.cu的fprop(NVMatrixV& v, PASS_TYPE passType)处打了点log，看看每次跑进来的矩阵是啥样的。 首先贴出网络参数，就是layers-18pct.cfg，把输入给灰度化了，所以第一层的输入是单通道的。# 18% error on CIFAR-10 in 20 minutes - layer definition file [data]
2013-11-07 21:33:19
3843
5
转载 Deep Learning 一些标志性的文章【转】
A Fast Learning Algorithm for Deep Belief Nets (2006)- 首次提出layerwise greedy pretraining的方法，开创deep learning方向。layerwise pretraining的Restricted Boltzmann Machine (RBM)堆叠起来构成Deep Belief Network (DBN)，其
2013-10-09 12:27:04
842
原创 VS中debug和release运行不一致的问题
今天遇到一个很奇葩的问题，debug模式和release模式运行过程不一致，debug能跑，release不能跑，感觉很匪夷所思。检查了一下，变量该初始化都初始化了。目前不知道是什么问题，继续跟进中……
2013-10-02 01:00:10
1021
原创 用EM求解GMM的简单理解
长期以来收益各位csdn大神的博客良多，今天起开始尝试学习他们用博客记录自己的一些学习和coding经历，算是一个备份，以后忘了好补回来。今天又把EM算法求解GMM过了一遍，讲下理解的大致过程：目的：求关于一堆样本的GMM，但是GMM相关的参数信息也不知道，只知道高斯的个数k，剩下的就是这么一堆单纯的训练样本向量；（比如，高斯是128个，样本是N多个SIFT，可以是原始的也可以是降维的）
2013-09-25 20:43:41
1342
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人