深度学习
BieberChen
这个作者很懒,什么都没留下…
展开
-
反向传播算法推导过程(非常详细)
1. 前向传播假设XXX为N×mN\times mN×m的矩阵(其中,NNN为样本个数(batch size),mmm为特征维数)h1h_1h1与Z1Z_1Z1的维数为m1→W1m_1 \rightarrow W_1m1→W1为m×m1m\times m_1m×m1的矩阵,b1∈Rm1,b_1 \in \mathbb{R}^{m_1},b1∈Rm1,h2h_2h2与Z2Z_...原创 2019-08-25 00:53:13 · 8887 阅读 · 3 评论 -
深度学习总的正则化、半监督学习、多任务学习以及Bagging
正则化的定义为"对学习算法的修改–旨在减少泛化误差而非训练误差"。正则化的策略包括参数范数惩罚、约束范数惩罚、提前终止以及Dropout等等。一、参数范数惩罚参数惩罚是指在目标函数JJJ中添加一个参数范数惩罚Ω(θ)\Omega(\theta)Ω(θ),限制模型的学习能力:J~(θ;X,y)=J(θ;X,y)+αΩ(θ)\tilde{J}(\theta;X, y)=J(\theta; X, ...原创 2019-08-29 23:00:31 · 1104 阅读 · 0 评论 -
深度学习中的模型优化(SGD、Momentum、Nesterov、AdaGrad、Adadelta、RMSProp以及Adam)
随机梯度下降Batch Gradient Descent(BGD)BGD在训练中,每一步迭代都是用训练集中的所有数据,也就是说,利用现有参数对训练集中的每一个输入生成一个估计输出,然后跟实际输出比较,统计所有误差,求平均以后得到平均误差,并以此作为更新参数的依据.优点: 由于每一步都利用了训练集中的所有数据,因此当损失函数达到最小值以后,能够保证此时计算出的梯度为0,换句话说,就是能够收敛...原创 2019-09-04 01:17:33 · 959 阅读 · 0 评论 -
四张图彻底搞懂CNN反向传播算法
阅读本文之前,请首先阅读之前讲述的全连接层的反向传播算法详细推导过程: 全连接反向传播算法。已经了解反向传播算法请自动忽略。1. 卷积层的反向传播直接上图:假设输入为一张单通道图像xxx,卷积核大小为2×22\times 22×2,输出为yyy。为了加速计算,首先将xxx按卷积核滑动顺序依次展开,如上图所示。其中,x^\hat{x}x^中的红色框代表xxx中的红色框展开后的结果,将xxx...原创 2019-09-08 14:24:23 · 1211 阅读 · 0 评论 -
RNN前向传播、反向传播与并行计算(非常详细)
1. RNN前向传播在介绍RNN之前,首先比较一下RNN与CNN的区别:RNN是一类用于处理序列数据的神经网络,CNN是一类用于处理网格化数据(如一幅图像)的神经网络。RNN可以扩展到更长的序列,大多数RNN也能处理可变长度的序列。CNN可以很容易地扩展到具有很大宽度和高度的图像,并且可以处理可变大小的图像。RNN的前向传播如图所示,其中f(x)f(x)f(x)代表激活函数,输出的l...原创 2019-09-13 15:49:05 · 2590 阅读 · 1 评论 -
LSTM前向传播与反向传播算法推导(非常详细)
1.长短期记忆网络LSTMLSTM(Long short-term memory)通过刻意的设计来避免长期依赖问题,是一种特殊的RNN。长时间记住信息实际上是 LSTM 的默认行为,而不是需要努力学习的东西!所有递归神经网络都具有神经网络的链式重复模块。在标准的RNN中,这个重复模块具有非常简单的结构,例如只有单个tanh层,如下图所示。[外链图片转存失败(img-EwKxtSFp-1569...原创 2019-09-21 15:48:15 · 6060 阅读 · 2 评论