深度学习
qq_41768189
这个作者很懒,什么都没留下…
展开
-
第三次打卡
批量归一化原理1.对全连接层做批量归一化位置:全连接层中的仿射变换和激活函数之间。2.对卷积层做批量归⼀化位置:卷积计算之后、应⽤激活函数之前。如果卷积计算输出多个通道,我们需要对这些通道的输出分别做批量归一化,且每个通道都拥有独立的拉伸和偏移参数。 计算:对单通道,batchsize=m,卷积计算输出=pxq 对该通道中m×p×q个元素同时做批量归一化,使用相同的均值和方差。3....转载 2020-02-25 16:38:35 · 236 阅读 · 0 评论 -
第二次打卡
过拟合、欠拟合及其解决方案过拟合和欠拟合欠拟合(underfitting):模型无法得到较低的训练误差。过拟合(overfitting:模型的训练误差远小于它在测试数据集上的误差。训练误差与泛化误差训练误差(training error):指模型在训练数据集上表现出的误差。泛化误差(generalization error):指模型在任意一个测试数据样本上表现出的误差的期望,并常常通过...转载 2020-02-18 17:52:02 · 350 阅读 · 0 评论 -
第一次打卡
线性回归线性回归假设输出与各个输⼊之间是线性关系,模型为:y^=x*w+b。其中y^=[y1,y2...yn].T是标签,w=[w1,w2...wn]是权重,x=[x1,x2...xn].T是特征,b是偏差。平均损失函数L(w,b)定义为:y为预测值,y^为真实值。优化函数 - 随机梯度下降:先选取一组模型参数的初始值,如随机选取;接下来对参数进行多次迭代,使每次迭代都可能降低损失函数的...转载 2020-02-14 16:36:14 · 348 阅读 · 0 评论