解决模型过拟合，增强鲁棒性和泛化能力

一、对于数据集的参考操作：数据增强

二、在模型层面的参考方法： dropout（深度学习）

三、选择合适的损失函数：

（1）L1正则化（特征稀疏，或者降维度）

（2）L2正则化（特征均衡减少，增强泛化）

（3）做标签平滑操作

在论文When Does Label Smoothing Help?中，作者说明标签平滑可以提高神经网络的鲁棒性和泛化能力。

四、L1和L2正则化的作用：

（1）L1正则化可以产生稀疏权值矩阵，即产生一个稀疏模型，可以用于特征选择，一定程度上，L1也可以防止过拟合

（2）L2正则化可以防止模型过拟合（overfitting）

 

（1）对于L1 L2正则化处理，可以参考： https://blog.csdn.net/liuweiyuxiang/article/details/99984288

（2）这里的标签平滑处理，可以参考：https://zhuanlan.zhihu.com/p/104273926 

这是个京东的算法工程师的总结内容，讲了讲常见的损失函数及其应用技巧。尤其是对于    Multi-Task   的情况下损失函数的选取与多个损失函数的处理（简单相加？ 加权求和？）