过拟合、欠拟合及其解决⽅案
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/23ce3d5e0daf6c7c15105fd9c93f4c44.png)
L2范数正则化也就是权重衰减是用来应对过拟合的。
梯度消失、梯度爆炸
有关数值稳定性的典型问题。
三个偏移:协变量、标签、概念。
卷积神经网络基础
假如你用全连接层处理一张256×256的彩色(RGB)图像,输出包含1000个神经元,在使用偏置的情况下,参数数量是:
32562561000+1000=196609000
假如你用全连接层处理一张256×256的彩色(RGB)图像,卷积核的高宽是3×3,输出包含10个通道,在使用偏置的情况下,这个卷积层共有多少个参数:
10333+10=280