上次的有L1,L2范数正则化,这次介绍 DropOut及其衍生出来的DropConnect
L1,L2范数正则化与 DropOut正则化的原理有本质上的不同
Drout的原理是
dropout是在经过激活函数之后,再经过一个函数用于控制是否输出,不输出的概率是p
dropout对于提升性能有很大提升,最主要的观点是从集成学习的角度解释的
以天气预报为例,预测未来7天的天气,5个分类器同时独立进行预测,每个都有误差,但是将五个分类器的结果按照少数服从多数的原则进行归纳,得到的最后结果与现实生活的天气状况完全一致
深度学习中的正则化技术--DropOut&DropConnect
最新推荐文章于 2023-04-14 18:43:49 发布
![](https://img-home.csdnimg.cn/images/20240711042549.png)