- 博客(10)
- 收藏
- 关注
RSS订阅原创 深度神经网络——优化算法
好的优化算法能够让神经网络运行的更快。本篇博客根据吴恩达老师的讲解，对几种优化算法进行总结。梯度下降法指数加权平均数（预备知识）https://www.jianshu.com/p/41218cb5e099动量梯度下降法RMSpropAdam1. Mini-batch梯度下降法 将训练集分割为小一点子集，使用梯度下降法进行训练。该过程叫做Mini-batch梯度下降。 假...
2019-07-15 00:11:35
449
原创 指数加权平均数
在深度神经网络的优化算法中，通常会用到指数加权平均数的概念。本篇博客根据吴恩达老师的视频讲解进行介绍。指数加权平均，在统计学中也叫做指数加权移动平均。它可以根据观察期近期的观察值进行预测，可以反映近期的变化趋势。指数加权移动平均的公式：其中，θ_t表示第t天的实际观察值v_t-1表示第t-1天的移动平均值v_t表示第t天的移动平均值β表示第t-1天的移动平均值和第t天的实际观测...
2019-07-09 22:40:50
1834
原创 深度神经网络—正则化（三）
深度学习可能存在过拟合问题——高方差，有两个解决办法，一是正则化，另一个是准备更多的数据，但由于无法时时刻刻准备足够多的训练数据或者获取数据的成本高，所以通常使用正则化的方法来避免过拟合。正则化的主要方法有：L2正则化dropout数据增广early stoppingBagging在样本中增加噪声Early stopping 在训练过程中，通常希望训练误差，代价函数J都...
2019-07-06 11:56:35
217
原创 深度神经网络—正则化（二）dropout正则化
深度学习可能存在过拟合问题——高方差，有两个解决办法，一是正则化，另一个是准备更多的数据，但由于无法时时刻刻准备足够多的训练数据或者获取数据的成本高，所以通常使用正则化的方法来避免过拟合。正则化的主要方法有：L2正则化dropout数据增广early stoppingBagging在样本中增加噪声本篇介绍dropout正则化： dropout（随机失活）也是一种非常使用...
2019-07-05 08:56:09
910
原创 深度神经网络—正则化（一）L2正则化
深度学习可能存在过拟合问题——高方差，有两个解决办法，一是正则化，另一个是准备更多的数据，但由于无法时时刻刻准备足够多的训练数据或者获取数据的成本高，所以通常使用正则化的方法来避免过拟合。正则化的主要方法有：L2正则化dropout数据增广early stoppingBagging在样本中增加噪声本篇博客先介绍L2正则化1. L2正则化公式及参数更新我们代价函数中加入正...
2019-07-03 11:52:59
13253
原创 深度神经网络—BatchNorm层
本篇博客是根据吴恩达老师的视频讲解，参考网上已有的资料，进行的一些总结，以便自己日后复习。Batch Normalization（Batch归一化，简称BatchNorm），会使参数搜索问题变得容易，使神经网络对超参数的选择更加稳定，同时也会是网络，甚至是深层网络的训练更加容易。接下来就探讨一下为什么BatchNorm为什么会起到加速网络训练的效果？1. 对每层输入特征进行归一化处理...
2019-06-27 23:13:17
2401
原创 深度神经网络—归一化
训练深度神经网络，归一化输入特征可以加快学习。假设一个训练集有两个输入特征x1,x2，一般需要两个步骤：零均值归一化方差左图为原始数据分布图；中间为零均值化后的分布图：相当于移动训练集；右图为归一化方差后的分布图：在原始分布图中，特征x1的方差比特征x2的方差大得多，通过上式的归一化操作，特征x1和特征x2具有了相抵的方差，效果如右图所示。为什么归一化可以加速收敛速度？...
2019-06-26 09:29:36
634
原创 卷积神经网络—全连接层
卷积神经网络—全连接层全连接层全连接层与卷积层全连接层与GAP（全局平均池化层）[1] https://blog.csdn.net/Touch_Dream/article/details/79775786[2] https://www.cnblogs.com/zongfa/p/9048680.html[3] https://www.zhihu.com/question/410379...
2019-04-16 22:36:34
15404
3
原创 卷积神经网络—池化层
卷积神经网络—池化层（pooling）池化层的作用：增加平移不变性降采样，即降维增大感受野1. 增加平移不变性平移的不变性是指当我们对输入进行少量平移时，经过池化函数后的大多数输出并不会发生改变。局部平移不变性是一个有用的性质，尤其是当我们关心某个特征是否出现，而不关心它出现的具体位置时。2. 降采样（降维）保留主要特征的同时减少参数和计算量，防止过拟合，提高模型泛化能力。...
2019-04-15 21:59:21
2550
原创 卷积神经网络-卷积层
卷积神经网络——卷积层CNN怎么进行识别什么是卷积图像上的卷积GIF动态卷积图权值共享[1] https://blog.csdn.net/v_JULY_v/article/details/51812459[2] https://blog.csdn.net/yjl9122/article/details/70198357卷积神经网络（CNN）一般由输入层、卷积层、激活函数、池化层、全连接层组成...
2019-03-21 23:09:46
765
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人