3. 机器学习问题攻略

机器学习任务攻略

检查Training data 的Loss

1. Loss太大

   • Model Bias

     • 模型太简单

       重新设置Model：增加Feature

   • Optimization做的不好

     Gradient Descent 找不到Global Minima

   Model Bias VS. Optimization Issue

   简单模型的Loss比复杂模型的Loss还小：Optimization Issue

2. Loss不大

   • Testing data的Loss小

     完美

   • Testing data的Loss大

     • 过拟合

       1. 增加训练资料

          Data augmentation

       2. 限制模型

          减少参数，共享参数，Less features，Early stopping,Regularization,Dropout

          限制也不能太多会出现Model Bias

          

          Cross Validation:

          Training Set分成：

          • Training Set

          • Validation Set

            调整模型，选择最小的Loss

          怎么分：

          ​ N-fold Cross Validation:

          

     • Mismatch

       训练资料、测试资料的分布不同