模型评估与优化1--基本概念与最优化问题

模型评估与优化1–基本概念与最优化问题

首先先看一下基本术语和概念
1.数据集的划分
（1）数据集(dataset)：在机器学习任务中使用的一组数据。数据集中每一个数据称为一个样本。反映样本在某方面的表现或性质的事项或属性称为特征。
（2）训练集(training data)：训练过程中使用的数据集。数据集中每个训练样本称为训练样本。从数据中学得模型的过程称为学习 （训练）。
（3）测试集(testing data)：学得模型后，使用其进行预测的过程称为测试，使用的数据集称为测试集，每个样本称为测试样本。
（4）交叉验证集(cross validation data)：用于衡量训练过程中模型的好坏。

2.偏差与方差
（1）偏差：衡量算法的期望预测与真实值之间的偏差程度，反映了模型本身的拟合能力。
（2）方差：衡量同等大小的训练集的变动导致模型学习的变化，刻画了数据扰动所导致的影响。
注意：
当模型越复杂时，拟合能力就越好，模型的偏差就越好。但此时如果换一组数据可能模型的变化就会很大，即模型方差变大，将这种现象称为过拟合，所以复杂的模型容易造成过拟合；当模型简单的时候，即使换一组数据，得出的学习器分类效果与之前分类器的效果也不会很大，即模型方差很小，但由于模型过于简单，导致偏差会很大，导致欠拟合。

3.过拟合和欠拟合
（1）欠拟合：模型没有很好地捕捉到数据特征，不能够很好地拟合数据。也