过拟合

lr_mult、decay_mult代表什么意思？ http://www.cnblogs.com/malf-14/p/5540514.html
会出现overfitting，而当网络逐渐overfitting时网络权值逐渐变大，因此，为了避免出现overfitting,会给误差函数添加一个惩罚项，常用的惩罚项是所有权重的平方乘以一个衰减常量之和。其用来惩罚大的权值。

学习速率是一个参数，用于确定更新步骤影响权重的当前值。 虽然权重衰减是权重更新规则中的附加项，它导致权重指数衰减为零，但如果没有安排其他更新。

避免过拟合的方法有很多：early stopping、数据集扩增（Data augmentation）、正则化（Regularization）包括L1、L2（L2 regularization也叫weight decay），dropout ：
http://blog.csdn.net/u012162613/article/details/44261657

正则化通俗理解：https://www.zhihu.com/question/20924039
L0范数是指向量中非0的元素的个数。
L1范数是指向量中各个元素绝对值之和。