文章目录
1. 如何产生训练集和测试集呢?
1.1 留出法
直接将数据集D划分为两个互斥的集合,一部分做训练集,一部分做测试集。
举例比如D中有1000个样本,将它划分为包含800个样本的训练集和200个样本的测试集。
需要注意
- 留出法要保证训练集和测试集数据划分的一致性,例如他们两者要保持类别相似的比例,比如上面训练集的800个样本中有400个正例,400个反例,比例1:1。 那么我们测试集的200个样本中也应该比例1:1,即100个正例,100个反例
- 单次使用留出法得到的结果不够稳定可靠,因而我们一般采用若干次随机划分,重复进行实验评估后取平均值
1.2 K折交叉验证法
K折交叉验证也就是要先将数据集划分成K个互斥的子集,要尽量保持数据分布的一致性,每次取k-1 个子集的并集作为训练集,余下的那个子集作为测试集。这样就可以进行k次训练和测试,最终返回k次的均值
由上我们可知,k折交叉验证需要保证数据分布的一致性,这有时候是不太容易的。而假设数据集中有m个数据,我们的k如果等于m 的话,也就是将我们的数据集分成m份,每次取一份做测试集。这种的好处是不受数据分布的影响,缺点是有时候数据集过于庞大而计算过慢
1.3 自助法
也就是在原始数据集D中随机采样得到一个新的数据集B,B做测试集,原始数据集D中除取B的部分做测试集,总共采样m次。
原理为什么可行
因为每一次放回抽样,假设样本总容量为m,则某一个样本被抽取做测试集的概率为 1 m \frac{1}{m} m1,连续抽取m次依然不被抽中的概率为 lim ( 1 − 1 m ) m = 1 e = 0.368 \lim(1-\frac{1}{m})^m=\frac{1}{e}=0.368 lim(1−m1)m=e1=0.368
意味着原始数据集中有36.8%的数据可以不被抽走留下来做测试集
自助法在数据集较小,难以有效划分训练集和测试集的时候非常 有用,此外自助法能从初始数据集中产生多个不同的训练集。但是缺点是会改变初始数据集的分布,引入估计偏差
2. 模型评估指标
2.1 错误率和精度
E ( f ; D ) = 1 m ∑ i = 1 m Ⅱ ( f ( x i ) ≠ y i ) E(f;D)=\frac{1}{m}\sum_{i=1}^mⅡ(f(x_i)≠y_i) E(f;D)=m1∑i=1mⅡ(f(xi)=yi)
- f(xi)是指学习器学习输出的判断结果
- yi是指示例xi的真实结果;
- Ⅱ(f(xi) ≠ yi)是指如果算法判断的结果和真实结果不相同则为1,否则为0。
精度定义为
a c c ( f ; D ) = 1 m ∑ i = 1 m Ⅱ ( f ( x i = y i ) ) = 1 − E ( f ; D ) acc(f;D)=\frac{1}{m}\sum_{i=1}^{m}Ⅱ(f(x_i=y_i))=1-E(f;D) acc(f;D)=m1∑i=1mⅡ(f(xi=yi))=1−E(f;D)
也就是判断正确的个数除以总个数。或者是用1-错误率
2.2 查准率和查全率与F1
错误率和精度大多数情况是可靠的,但部分情况是无用的。
比如我们看下面这个例子(出自《OpenCV实战40例》),我们有一千个病人,交给分类器判断病人是否患有癌症,给出的预测结果如下
这时候如果我们计算精度判断正确的,会发现结果他的精度很高,斜对角线是判断正确的990/1000=0.99,精度高达0.99。可是他真的好吗?我们在这种情况下更关心分类器在已患有癌症的人中找出了几个,那个很重要啊,我们要判断出来对症下药呀
真实患有癌症的人(第一行)有10+5=15个,而判断正确的有10个,概率是10/15=0.667, 看来这个分类器也没有那么优秀。
那么我们对上述进行一个抽象,便是周志华老师《西瓜书》中的混淆矩阵。
因为我们要检测是否患有癌症,因而患有癌症是正例,不患有癌症是反例。我们关心的是在真实患有癌症的人群中,有多少被判断正确了。也就是我们的
查全率
R = T P T P + F N R=\frac{TP}{TP+FN} R=TP+FNTP ,通俗来说就是我们期望检测出来的正例中有多少被真正检测出来了。
而还有一个是
查准率
或者叫召回率
P = T P T P + F P P=\frac{TP}{TP+FP} P=TP+FPTP ,通俗来说就是我们检测出来的正例中有多少是准的。
2.2.1 PR曲线及其绘制
而根据P和R可以绘制出二维的曲线,我们把他称为P-R曲线
P-R曲线如何绘制呢?
1 模型给不同的样例预测结果往往是一个范围内的值,从大到小排列
2 将阈值设为该范围内最大值,计算P和R
3 逐渐降低阈值,重复计算P,R
如下图,是三个模型A,B,C的P-R曲线图
引出P-R曲线是为了比较两个模型的效果性能,如果某一个分类器P-R曲线把另一个分类器的曲线完全包住,那么前者的性能更好,比如上图的B将C完全包主了,那么B的性能优于C。
但是往往会发生交叉,那么可以通过曲线下的面积来比较,面积大的更优秀,但面积却往往不好计算,因而引出我们的一些辅助判断两个模型的性能优劣
第一个是平衡点
,也就是P和R相等的点,这个点的数值越大,分类器性能越好,如上图的A和B交叉,但A的平衡点约为0.8,B只有0.76
第二个是F1度量
:
个人感觉平衡点不能反应不同情况的两个模型的优劣,F1更好一些
他可以反应曲线上任意一点两个模型的优劣
F 1 = 2 × P × R p + R F1=\frac{2×P×R}{p+R} F1=p+R2×P×R F1 度量是对P和R做调和平均得到的
有时候不同任务对查全率和查准率的重视程度不一样,比如我们的癌症检测,我们更关注真正患有癌症的人中有多少被检测正确,也就是查全率更重要,有些任务查准率更重要。
因而我们就有 F β F_{\beta} Fβ
F β = ( 1 + β ) 2 × P × R ( β 2 × P ) + R F_{\beta}=\frac{(1+\beta)^2× P×R}{(\beta^2×P)+R} Fβ=(β2×P)+R(1+β)2×P×R
- 当 β = 1 \beta=1 β=1 的时候,退化为F1 度量
- 当 β > 1 \beta>1 β>1的时候,查全率更重要
- 当 β < 1 \beta<1 β<1的时候,查准率更重要
实际中,我们往往会进行多次训练,会有多个混淆矩阵,我们需要对这些矩阵做处理反应最后结果
有两种方式
- 先计算各个矩阵的查全率和查准率,再计算平均值,这样的话叫做
宏查准率
,宏查全率
- 先计算机各个矩阵的平均值,再计算最后平均矩阵的查全率和查准率
宏查准率
,宏查全率
2.3 正例率和假例率
-
真正例率
T P R = T P T P + F N TPR=\frac{TP}{TP+FN} TPR=TP+FNTP , -
假正利率
F P R = F P T N + F P FPR=\frac{FP}{TN+FP} FPR=TN+FPFP ,通俗来说就是我们检测出来的正例中有多少是准的。
2.3.1 ROC曲线图绘制及AUC
- 计算阈值和分类结果:
- 选择一系列阈值(例如,从0到1,每隔0.01),对于每个阈值:
- 计算在这个阈值下的真正例率(TPR)和假正例率(FPR)。
- TPR= 真正例(TP)/ (真正例(TP)+假负例(FN))
- FPR = 假正例(FP)/ (假正例(FP)+真负例(TN))
- 选择一系列阈值(例如,从0到1,每隔0.01),对于每个阈值:
- 绘制ROC曲线:
- 在二维坐标系中,以FPR为横坐标(X轴),TPR为纵坐标(Y轴)。
- 对于每个阈值,绘制一个点(FPR, TPR)。
- 将所有点连接起来,形成ROC曲线。
- 计算AUC:
- 计算ROC曲线下的面积,即AUC值。这个值提供了模型整体性能的一个量化度量。
一般来说
AUC是ROC曲线下的面积,它的值介于0和1之间。AUC提供了一个量化的度量,用于比较不同分类器的整体性能。AUC的值越高,表示分类器的性能越好。
- AUC = 1:表示分类器在所有可能的阈值下都有完美的分类性能,即没有错误的分类。
- AUC = 0.5:表示分类器的性能等同于随机猜测,没有区分正负例的能力。
- 0.5 < AUC < 1:表示分类器的性能优于随机猜测。
- AUC < 0.5:在某些情况下,AUC可能小于0.5,这通常意味着分类器的性能是反向的,即它更倾向于将正例分类为负例,或者将负例分类为正例。
当然这上面的也是最基础的ROC,我们在实际应用中的需求不同,意味着两个真正例和反正例他们的重要性不同
3 假设检验
为什么要假设检验?
因为我们只在测试集上做了测试,得到了测试误差
但是实际上泛化误差不一定等于测试误差
我们要检验泛化误差和测试误差相近
感觉这部分在实际中用到比较少,需要的话我再后续补充吧
参考《西瓜书》《OpenCV实战40例》