机器学习——防止过拟合

所谓过拟合就是由于过度学习训练样本，而导致该模型眼里容不下别的样本，从而对训练样本之外的样本接受能力差，导致模型无法具有很好的泛化能力。防止过拟合的方法有多种，上一篇文章中结构风险最小化提到的正则化项，就是为了防止模型过拟合，模型复杂度过大的一个模型修正条件。

从样本上来说：增加样本的全面性和数量

从模型上来说：训练模型的同时限制模型复杂度，增加1范数和2范数，如线性回归的优化岭回归

从训练手段上来说：有提前预防型：early stop；有事后修正型：dropout，剪枝等

              1.所谓early stopping，即在每一个epoch结束时（一个epoch即对所有训练数据的一轮遍历）计算 validation data的accuracy，当accuracy不再提高时，就停止训练。当然这个不提高通常是指连续增加多次训练，例如10次训练后发现正确率不再提升则停止训练。

             2.所谓dropout，dropout是指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢  参考 http://blog.csdn.net/stdcoutzyx/article/details/49022443

             3.树模型通常会对一棵很大的树进行剪枝