lch的博客

目录预备知识L0范数L1正则化L2正则化为什么参数越小越好 预备知识 在深度学习中，模型的参数优化可以看做最大后验估计，损失函数即为似然函数。所谓正则化，可以视为给予了模型参数估计的一个先验知识。而似然函数*先验信息即为最大后验估计。 θ∗=argmaxθ(∏iP(Yi∣Xi,θ)∏iP(θi))=argminθ(∑i∣∣f(Xi)−Yi∣∣2+∑ilnP(θi))\theta^*=argmax_{\theta}(\prod_i P(Y_i|X_i,\theta)\prod_i P(\theta_i))=a

目录偏差和方差过拟合原因解决办法欠拟合原因解决办法 偏差和方差 偏差用来描述模型输出结果的期望和样本真实结果的差距。 方差用来描述模型对于给定值的输出稳定性。 具体的可以看下图： 过拟合指的就是高方差，欠拟合则是高偏差。 过拟合 原因 模型的复杂度（维度）过高。 模型拟合了数据集中的噪声。 数据集太小，无法了解其真实分布。 模型的迭代次数过多。 解决办法 增加训练数据，做数据增强。 降低模型复杂度。 减少特征数。 添加正则化约束。 使用BN。 使用DropOut 提前结束训练。 欠拟合 原因

目录声明BN是什么为什么提出BNBN的作用及原因加速训练，提高收敛速度缓解梯度消失（梯度爆炸）缓解过拟合 声明 由于学习本篇博客的内容时翻阅了很多资源，如知乎、他人博客等，很多内容已经不记得是在哪学到的了，也没有办法一一列举了，如有侵权，请联系我删除，谢谢。 BN是什么 BN是谷歌在这篇文章中提出的。 为什么提出BN BN的作用及原因 加速训练，提高收敛速度 缓解梯度消失（梯度爆炸） 缓解过拟合 ...

目录简历内容Faster RCNN整体流程各个层常见cv面试题 简历内容 Faster RCNN 整体流程 各个层 常见cv面试题