机器学习理论之算法优化

一、优化算法的一般途径

1. 尝试获取更多的训练集
2. 尝试选择更少的特征（特征选择？）
3. 尝试获取新的特征
4. 尝试增加模型的复杂度（如线性回归则增加参数的非线性程度，如神经网络则增加隐藏层的层数和隐藏层的每层的个数？）
5. 尝试减小正则化参数
6. 尝试减小正则化参数

      那么在实际优化的时候我们到底应该使用哪种方法呢？在研究生期间，因为对机器学习刚接触不接就进入导师的项目，当时就花费了超过了半年的时间，看论文、获取更多的训练集、尝试获取新的特征，反复尝试。但遗憾的是，经过这么久的努力，算法实际上并没有得到什么实际的优化。

      那么在实际项目中，我们应该使用何种方法才可以把时间用在刀刃上，选择正确的方向进行行算法的优化呢？下边就是优化算法的一般方法。

二、算法诊断

• 通过算法诊断希望能达到了解算法哪里出了问题，以及要想改进算法的效果，什么样的改进才是有意义的。
• 为了评估算法的性能，我们一般讲数据集分为三部分：训练集、验证集、测试机。可以按照3:1:1的比例进行划分。
• 训练误差/验证误差/测试误差
                                
  
• 模型选择：可以选择使交叉验证误差最小的那个模型
• 选择模型复杂度：当算法运行不好时，主要是源于以下两种情况：过拟合、欠拟合。在算法优化过程中需要搞