xuguokun1986的博客

https://www.cnblogs.com/charlotte77/p/7759802.html

https://blog.csdn.net/pengchengliu/article/details/89362271

https://blog.csdn.net/m0_38106113/article/details/81542863

原文地址：http://blog.csdn.net/hjimce/article/details/50413257作者：hjimce一、相关工作本来今天是要搞《Maxout Networks》和《Network In Network》的，结果发现maxout和dropout有点类似，所以就对dropout做一下相关的总结，了解一下其代码层面的实现。Dropout是2...

1. 概述在训练数据不够多时，或者overtraining时，常常会导致overfitting（过拟合）。其直观的表现如下图所示，随着训练过程的进行，模型复杂度增加，在training data上的error渐渐减小，但是在验证集上的error却反而渐渐增大——因为训练出来的网络过拟合了训练集，对训练集外的数据却不工作。image.png为了防止overfitting，可以用的方法...

1. 用滑动平均估计局部均值　　滑动平均(exponential moving average)，或者叫做指数加权平均(exponentially weighted moving average)，可以用来估计变量的局部均值，使得变量的更新与一段时间内的历史取值有关。　　变量vv在tt时刻记为vtvt，θtθt为变量vv在tt时刻的取值，即在不使用滑动平均模型时vt=θtvt=θt，在使用...

https://blog.csdn.net/Rasin_Wu/article/details/80017920

https://blog.csdn.net/marsjhao/article/details/73480859

https://blog.csdn.net/yangdashi888/article/details/77918311

深度学习中的正则化（Regularization）一、Bias（偏差） & Variance（方差）在机器学习中，这两个名词经常让我们傻傻分不清。我们不妨用案例来看看怎么区分。假设我们正在做一个分类器，分别在训练集和验证集上测试，以下为四种可能的情况：四种情况可见①、④两种情况的训练集误差都很小，接近optimal error，这种就称为low bias。说明训练的...