机器学习任务攻略

1. Model Bias

• 模型设计得太过简单
  
• 解决方案
  重新设计模型是弹性更大
  
  2 优化问题
  training loss大 到底是model bias or optimization的问题
  
  

3. Overfitting
   training data 的loss小， testing data的loss大
   
   解决方案

• 增加训练资料/数据
• data augentation
• constrained model and not constrain too much
  
  
  具体方式
• 设置少的神经元数目（少的参数/共用参数）
  例如：CNN针对影像的架构限制模型的弹性
• 较少的特点
• Early stoppping
• Regularization
• Dropout

4 Bias-Complexity Trade-off

更好的选择模型


4 Mismatch
训练资料和测试资料有不同的分布。