卷积核更像一个滤波器,比如你可以通过设定卷积核的参数,来提取图片的横向特征或者纵向特征,。
小卷积核通过多层叠加可取得与大卷积核同规模的感受野,而小卷积核需要的参数量小。
模型内部参数存在着巨大的冗余,实验表明只给很小一部分的参数子集(约全部参数量的5%)就可达到原模型的精度,但是在训练时我们需要这些冗余的参数来保证模型的可塑性,训练完后,可以通过剪枝操作移除这些冗余参数。
减均值操作的原理是,我们默认自然图像是一类平稳的数据分布,在每个样本上减去数据的统计平均值,可移除共同部分,凸显出个体差异。
分类任务的目标函数用的是softmax的损失函数,即多类交叉熵损失函数。
回归任务的目标函数,多用L1,L2损失函数
含义N个样本,每个样本可能是的类的个数是M。