![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Deep Learning
kakak_
这个作者很懒,什么都没留下…
展开
-
batch_size
全数据集 ( Full Batch Learning )随着数据集的海量增长和内存限制,一次性载入所有的数据进来变得越来越不可行。以 Rprop 的方式迭代,会由于各个 Batch 之间的采样差异性,各次梯度修正值相互抵消,无法修正。在线学习(Online Learning)使用在线学习,每次修正方向以各自样本的梯度方向修正,横冲直撞各自为政,难以达到收敛。批梯度下降法(Mini-batches Learning)如果数据集足够充分,那么用一半(甚至少得多)的数据训练算出来的梯度与用全部原创 2020-06-08 10:46:15 · 129 阅读 · 0 评论 -
train_val loss
神经网络具有两大能力:学习能力,指在训练集上精度。泛化能力,指在测试集上精度。对于一个大型神经网络在一个大数据集上跑,loss持续不降,第一步先减小数据量,比如只在单张图片上跑,使用小epochsize,观察LOSS下降情况。如果loss还是不下降说明网络没有学习能力,应该调整模型,因为任何一个网络都会有学习能力。train loss 不断下降,test loss不断下降,说明网络仍在学习;train loss 不断下降,test loss趋于不变,说明网络过拟合;train l原创 2020-05-27 17:28:09 · 558 阅读 · 0 评论 -
DNN的损失函数和激活函数
均方差损失函数+Sigmoid激活函数Sigmoid激活函数σ(z)=11+e−z\sigma(z) = \frac{1}{1+e^{-z}}σ(z)=1+e−z1对于Sigmoid,当????的取值越来越大后,函数曲线变得越来越平缓,意味着此时的导数????′(????)也越来越小。同样的,当????的取值越来越小时,也有这个问题。仅仅在????取值为0附近时,导数????′(????)的取值较大。均方差+Sigmoid的BP...原创 2020-04-13 19:31:03 · 588 阅读 · 0 评论 -
DNN前向传播和反向传播
深度神经网络(Deep Neural Networks)Forward输入: 总层数L,所有隐藏层和输出层对应的矩阵????(从2开始),偏倚向量????,输入值向量????输出:输出层的输出aLa^LaL初始化a1=xa^1=xa1=xfor l=2 to Lfor\; l=2\;to\; Lforl=2toL:al=σ(zl)=σ(Wlal−1+bl)a^l = \sigma(z^l) = ...原创 2020-04-13 14:51:27 · 321 阅读 · 0 评论