面试高频1-正则化(L1\l2)解读
正则总结
L1、L2正则
BN
Dropout
Early Stop
L1、L2正则相关知识点集合(1.概念理解;2.贝叶斯、解空间推导;3.经典文章解读整理)
- 正则化相关的面试题-bilibili-⭐⭐⭐
- L1、L2正则化总结: L1,L2正则所有问题-视频-PPT截图⭐⭐⭐⭐
5.1 知乎-L1正则化与L2正则化⭐⭐⭐
5.2 贝叶斯眼里的正则化⭐⭐
知乎-霍华德大佬的推导过程:
- 首先推导MLE到交叉熵等价。
- MAP推导出先验概率P(θ);
- 如果先验概率是 拉普拉斯分布,则是L1
- 如果先验分布是 正太分布, 则是L2
- 然后通过 拉普拉斯分布、高斯分布的图像说明为什么,L1具有稀疏、特征选择的作用; .
- 损失函数+正则化= MAP=结构风险最小化
5.2 深入理解L1、L2正则化
5.3 L1和L2正则化的概率解释🎃
5.4 机器学习中的范数规则化之(一)L0、L1与L2范数⭐⭐
5.5 L1正则化和L2正则化的详细直观解释
5.6 机器学习——正则化不理解的地方
5.7 【机器学习基础第2期】机器学习中的范数规则化之L0、L1与L2范数、核范数
四种角度解读
奥卡姆剃刀角度:
解空间角度
结构风险最小化角度:
贝叶斯先验概率的角度:
优化角度
资料
1. Regularization 与 Weight Decay
Weight Decay
Regularization 的理解
既然谈到了 Regularization,顺带谈一个经常被提及的问题——Regularization 的解释,即它到底是为什么会带来正则化的效果的。
解空间角度
概率角度