应用机器学习的建议

1.模型选择和交叉验证集

   （1）模型的选择

             模型选择的方法为：

              1） 使用巡训练集训练出10个模型；

              2）用10个模型分别对交叉验证集计算得出交叉验证误差（代价函数的值）

              3） 选取代价函数值最小的模型

              4）用步骤3中选择出的模型对测试集计算得出推广误差（代价函数的值）

    （2）交叉验证集

            交叉验证集既是在以7：3 对数据划分后的数据进行均分为n份，例如10则交叉，则均分为10等分，然后每份数据都会被当作测试集，使用另外9等分数据进行模型训练。

2.偏差和方差

    （1）偏差

            度量了学习算法中期望预测值与真实预测结果的偏离程度，既刻画了算法的拟合度。偏差较大：欠拟合。

    （2）方差

            度量了同样大小的训练集的变动所导致的学习性能变化，刻画了数据集所造成的影响。方差较大：过拟合。

    （3）如何通过偏差和方差进行模型的选择

                     

              

                    

             既是，交叉验证集上的最小测试结果值。

3.学习曲线

  学习曲线是将训练集误差和验证集误差作为训练集实例数量（m）的函数绘制的图。

                 

  （1）训练集的数据尺寸确定

          1） 欠拟合

               

            既是在高偏差/欠拟合的情况下，增加数据到训练集不一定有帮助。

        2）过拟合

                      

          当交叉验证误差远大于训练集时，往训练集增加更多数据可以提高模型的效果。

  也就是在高方差/过拟合的情况下，增加更多的数据到训练集可能可以提高算法效果。

  其他参数的值以同样的方式进行确定。

  （2）  小结

        1) 常用算法

            

          注意：这里的归一化程度就是正则化程度，

                

      2） 神经网络