深度学习入门
文章平均质量分 91
stesha_chen
这个作者很懒,什么都没留下…
展开
-
几种优化方法总结---Momentum,AdaGrad,RMSProp,Adam
SGDSGD的全称是stochastic gradient descent,随机梯度下降,是相对batch gradient descent提出来的。batch gradient descent:将所有训练样本全部投入计算dw,db。好处:这种计算方式求出来的dw和db是最真实的。坏处:如果训练样本特别大,比如100,000个样本,这样会导致很长时间才能计算出一次倒数然后进行一次梯度下降,...原创 2019-02-13 15:43:07 · 1915 阅读 · 0 评论 -
Batch Normalization导数计算与代码实现
关于batch normalization的论文阅读可以参考以前的一篇博文Batch Normalization,这里主要对BN的导数进行推导,并且看一下tensorflow中的源码实现。BN导数推导正向计算回顾一下Batch Normalization的正向计算公式: (1) (2) ...原创 2018-12-21 18:55:00 · 2956 阅读 · 2 评论 -
cs231n-lecture6 神经网络的训练Part1
Lecture6的内容比较多,稍微复杂一点,但是在实际操作中都是非常有用的知识点。结合视频课件还有课堂笔记可以比较好的理解这章的内容,我写这篇文章是为了梳理一下自己的理解,也方便自己以后回顾。目录Activation FunctionsData PreprocessingWeight InitializationBatch NormalizationBabysittin...原创 2018-12-11 15:51:59 · 463 阅读 · 0 评论 -
cs231n学习笔记-lecture4(Backpropagation and Neural Networks)以及作业解答
Backpropagation学习笔记这部分主要是比较详细的介绍使用计算树进行反向传播的计算方法。首先举了一个很简单的例子,例子中详细的介绍了前向传播和反向传播的计算方式,其实就是链式法则。每个节点的导数都是用后一个部位的导数乘以当前节点的导数。然后总结了一个节点导数的求法,就是上一个节点的导数乘以当前节点的local gradient。然后举了一个相对复杂的例子,也是...原创 2018-11-17 21:56:52 · 579 阅读 · 0 评论 -
cs231n学习笔记-lecture3(Loss Functions and Optimization)
前言最近开始学习cs231n的课程,想从基础上再梳理一下视觉相关的知识点,课程中有些概念的解释还是非常巧妙的,将自己有些领悟的地方记录下来,方面以后回顾。Loss FunctionsSVM Loss对于一个线性模型,计算出来的值就是某张图片对于每个类别的分数。如上图的计算一样,假设我们现在有了一组W,如何判断这个W的表现如何呢?因此引入了loss函数,用这个loss函数...原创 2018-11-10 23:43:51 · 262 阅读 · 0 评论