样本噪声与过拟合 （西瓜书1-2章）

一、样本噪声

与训练集差异较大的样本。
训练集中包含噪声，会使训练集拟合复杂程度增强，使模型过于复杂，可能出现过拟合情况。
数据集中若包含噪声，意味着该数据无法在训练样本中找到一致的样本，会导致无法判断，无法分类，此时给定归纳偏好，以确定数据分类。
一般噪声样本loss值较大（深度学习）。

二、过拟合和欠拟合

过拟合：当使用过拟合进行分类时，会排除一些在假设空间以内的数据，如核酸检测中的 false-negative[假设拟合的是核酸检测结果为阳性]。
欠拟合：当使用欠拟合进行分类时，会将一些不在假设空间内的算入，如false-positive。
训练误差最小时，很可能出现过拟合。

三、交叉验证法的划分

交叉验证法中，互斥子集有多种划分方法，结合留出法的划分方法，即数据集和测试集分层采样。
对于10折交叉验证，若二分类数据集中，正例比例为p，反例比例为(1-p)，数据集总样本量为D，则训练集T1的划分可能结果包括：C(Dp/10,Dp)C(D(1-p)/10,D(1-p))。测试集也应当按照分层采样的方法划分。

四、错误率定义

错误率定义式中，E(f;D)=1/m∑(m,i=1)I (f(xi)≠yi)
其中 I (f(xi)≠yi) =0 or 1
When f(xi)≠yi，I (f(xi)=yi)=1；
when f(xi)=yi, (f(xi)=yi)=0.
精率的定义式中，acc(f;D)=1/m∑(m,i=1)I (f(xi)=yi)
其中 I (f(xi)=yi) =0 or 1
When f(xi)=yi，I (f(xi)=yi)=1；
when f(xi)≠yi, (f(xi)=yi) =0.