吴恩达机器学习入门笔记2-模型评估

2 模型评估

2.1 数据集划分为训练集与测试集方法

常按照7：3的比例选择，若数据已经随机的话就取前70%作为样本集

2.1.1 留出法

直接将数据集D划分为两个互斥的集合

• 划分应保持数据分布一致性
• 存在多种划分方式，采用若干次随机划分、重复进行实验评估后取平均值作为评估结果
• 常见做法：2/3~4/5样本用于训练，剩余用于测试，测试集至少含30个样例

2.1.2 交叉验证法–k折交叉验证

将数据集D划分成**k个大小相似的互斥子集，每次用k-1个子集的并集作为训练集，剩下一个作为测试集，进行k次训练与测试，返回k个测试结果的均值

• 通常k=10
• 采用不同划分方式 例如10次10折交叉验证
• 留一法：m个样本中k=m-1 但样本量太大时计算复杂度高
• 典型分法：60%作为训练集，20%作为验证集，20%作为测试集，选择验证集误差最小的模型

2.1.3 自助法

每次随机挑选数据集D中一个样本放入数据集D’ 再将该样本放回D后继续重复上述过程，最后得到训练集D’，且D中有36.8%的数据未出现在D’中，将这些数据作为测试集

• 这样的测试结果成为包外估计
• 改变了初始数据集分布，引入估计偏差，数据量不足时使用

2.2 调参

• 常用做法：给定变化范围与步长
• 两类参数：算法参数与模型参数，前者个数少，人工设定；后者个数多，学习产生
• 模型评估与确定仅使用部分样本作为训练集，得出最优模型后再用全部样本重新训练，才是最终模型

2.3 性能度量

回归任务最常用的性能度量为均方误差
$$E(f;D)=\frac{1}{m}\sum _{i=1}^m(f(x_i)-y_i{)}^2\text{\hspace{1em}(2.1)}$$
更一般，对于数据分布D和概率密度函数p(.)，均方误差描述为
$$E(f;D)={\int }_{x\in D}(f(x)-y{)}^{2}p(x)dx\text{\hspace{1em}(2.2)}$$

2.3.1 F1度量

F1是基于查准率与查全率的调和平均

2.4 0/1测试误差

KaTeX parse error: Expected & or \\ or \cr or \end at position 41: …in{cases} 1, & \̲m̲b̲o̲x̲{if }h_\theta(x…

$$Testerror=\frac{1}{m_{test}}\sum _{i=1}^{m_{test}}err(h_{\theta }(x_{test}^{(i)}),y_{test}^{(i)})\text{\hspace{1em}(2.4)}$$

2.5 偏差、方差、噪声

• 偏差：度量学习算法的期望预测与真实结果的偏离程度，刻画学习算法本身的拟合能力

• 方差：度量了来自同一分大小相同的不同训练集导致的学习性能的变化，刻画数据扰动所造成的影响

• 噪声：表达了当前任务上任何学习算法所能达到的期望泛化误差的下界，刻画学习问题本身的难度

• 偏差与方差冲突

• 训练集误差与交叉验证误差大，意味着模型偏差大，模型欠拟合

  训练集误差很小但交叉验证误差很大，意味着模型方差大，模型过拟合

  

2.6 学习曲线

横坐标为样本数，纵坐标为误差，求训练误差与验证误差记得正则化项为0

• 拟合情况好的学习曲线，样本越多，训练集误差上升，验证集误差下降，因为参数进行了更多的训练
• 编程中，部分训练集每次训练一组参数，就用该模型对验证集上所有样本进行代价函数计算

• 高偏差下的学习曲线，样本数增多误差趋于稳定值

• 高方差下的学习曲线，交叉验证误差均大于训练集误差很多，增大样本数可以减小验证集误差，因为把更多情况包括进去，导致验证集出现新样本的概率减小

2.7 修改模型的方法

• 增大训练样本数：解决高方差问题
• 减少特征数量：防止过拟合，解决高方差问题
• 增加特征数量：增大模型复杂程度，解决高偏差问题
• 增加多项式：即增加合成特征，解决高偏差问题
• 减小正则化参数$\lambda$，即增大特征参数，防止欠拟合，解决高偏差问题
• 增大正则化参数$\lambda$，即增减小特征参数，防止过拟合，解决高方差问题

2.8 决策边界

所有算法均为了按照一定准则找到最优的参数$\theta$ ，${\theta }^{T}X$即为决策边界的图形