Deep Learning
文章平均质量分 71
小胖蹄儿
这个作者很懒,什么都没留下…
展开
-
Softmax vs. SoftmaxWithLoss 推导过程
Softmax vs. SoftmaxWithLossSoftmax function:Softmax Loss function(cross-entropy):SoftmaxWithLoss的推导一些理解可供学习的资料:Softmax vs. SoftmaxWithLossSoftmax function:pj=ezj∑kezkpj=ezj∑kezkp_...原创 2016-04-14 15:53:54 · 1613 阅读 · 1 评论 -
反向传播(Back propagation)算法推导具体过程
BP算法的成就无需多言,现在就来进行一下具体的推导。推到过程依赖于西瓜书(《机器学习》 周志华)1、首先定义一个单隐层神经网络,具体参考西瓜书102页: 2、各类符号的意义: 3、 初始化公式: 4、分别推导: BP算法代码:x = xlsread('C:\Users\icefire\Desktop\ml\西瓜3.xlsx', 'sheet1', 'A1:...原创 2017-12-12 20:28:12 · 1748 阅读 · 3 评论 -
以LeNet为例分析CNN中的参数量
CNN最重要的两点:局部连接和权值共享 局部连接:神经元和上层部分神经元相连接 权值共享:基于局部连接,在每个神经元和上层部分神经元之间权值是共享的,也就是说对于一个神经元,和它相连的所有上层神经元之间的权值都是一致的,这样可以大大减少参数量。对于在feature_map中的理解:对于一个feature_map只需要训练一种kernel。首先,对于LeNet整体上介绍一下:...原创 2017-12-15 18:20:43 · 2063 阅读 · 1 评论 -
论文阅读:Network In Network
源码及论文地址:https://github.com/BVLC/caffe/wiki/Model-Zoo#network-in-network-model这篇paper改进了传统的CNN网络,采用了少量的参数就轻松击败了Alexnet网络,Alexnet网络参数大小是230M,采用这篇paper的算法才29M,减小了将近10倍。另外,这篇paper提出的网络结构,是对传统CNN网络的一...原创 2018-03-16 16:40:33 · 857 阅读 · 0 评论 -
学习资料
零基础入门深度学习(3) - 神经网络和反向传播算法零基础入门深度学习(4) - 卷积神经网络计算机视觉各类数据库Pycaffe 训练测试数据,打印loss及可视化CVPR/ICCV历年论文集网络结构在线可视化工具: NetScope交叉熵代价函数 这篇博客从二次代价函数引入,交代了交叉熵代价函数为何现在用的这么好,以及对交叉熵代价函数进行了推倒。...原创 2016-10-12 09:37:04 · 463 阅读 · 0 评论 -
计算feature map大小
输入:N0*C0*H0*W0 输出:N1*C1*H1*W1 输出的feature map大小: H1=H0+2×pad−kernel_sizestride+1H1=\frac{H0+2\times pad-kernel\_size}{stride}+1 W1=W0+2×pad−kernel_sizestride+1W1=\frac{W0+2\times pad-kernel\_size}{s原创 2016-07-19 15:02:07 · 8236 阅读 · 0 评论 -
《Neural network and deep learning》学习笔记(一)
Using neural nets to recognize handwritten digitsLearning with gradient descent对于一个网络,它的代价函数:C(w,b)≡12n∑x∥y(x)−a∥2\begin{eqnarray} C(w,b) \equiv \frac{1}{2n} \sum_x \| y(x) - a\|^2\end{eqnarray} 其中原创 2016-07-26 14:40:28 · 912 阅读 · 0 评论 -
learning rate四种改变方式
Fixedlearning rate固定不变base_lr = 0.01lr_policy = "fixed"Steplearning rate在每迭代stepsize次后减少gamma倍。lr=lr/gammalr = lr /gammabase_lr = 0.01lr_policy = "step"gamma = 0.1stepsize= 10000Polynomiallearning原创 2016-07-25 15:54:57 · 9759 阅读 · 0 评论 -
卷积神经网络
原文地址:http://www.cnblogs.com/ronny/p/ann_03.html一、卷积那么在图像上,对图像用一个卷积核进行卷积运算,实际上是一个滤波的过程。卷积的基本数学表示: f(x,y)∘w(x,y)=∑s=−aa∑t=−bbw(s,t)f(x−s,y−t)f(x,y)\circ w(x,y)=\sum_{s=-a}^a \sum_{t=-b}^b w(s,t)f(x-s,y转载 2016-05-06 21:07:36 · 870 阅读 · 0 评论 -
Evaluation of Deep Learning Toolkits
找不到其他的markdown编辑器了,写毕业论文用,先放着吧 原文地址:https://github.com/zer0n/deepframeworksEvaluation of Deep Learning ToolkitsAbstract. In this study, I evaluate some popular deep learning toolkits. The candidates a转载 2016-05-13 17:41:23 · 1112 阅读 · 0 评论 -
softmax代价函数的导数计算
对于softmax的理解请参考Ufldl教程,本文仅对代价函数求导部分进行推导softmax regression 代价函数: J(θ)=−1m⎡⎣∑i=1m∑j=1k1{y(i)=j}logeθTjx(i)∑kl=1eθTjx(i)⎤⎦J(\theta)=-\frac{1}{m}\left[\sum_{i=1}^m\sum_{j=1}^k1\{y^\mathit{(i)}=j\}log\fra原创 2016-04-27 21:23:05 · 9549 阅读 · 4 评论 -
深度神经网络模型压缩方法总结
新的卷积计算方法这种是直接提出新的卷积计算方式,从而减少参数,达到压缩模型的效果,例如SqueezedNet,mobileNet1. SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size代码地址:https://github.com/DeepScale/Squeez...原创 2018-03-13 19:15:03 · 5486 阅读 · 0 评论