西瓜书阅读笔记-2

1、错误率&精度
分类错误的样本数占样本总数的比例Error
精度=（1-错误率）×100%
2、误差
学习器的实际预测输出和样本的真实输出之间的差异称为误差
训练集上的误差：训练误差/经验误差
新样本上的误差：泛化误差
3、过拟合&欠拟合
过拟合：一般为学习能力过强，把一些训练样本的特点当成所有样本的一般性质，泛化能力差——无法彻底避免（P≠NP）
欠拟合：无法很好根据训练样本学习到潜在样本的一般规律
4、模型选择
理想：评估候选模型的泛化误差，选择最小的
现实：无法直接获得泛化误差
5、如何评估？
训练误差会有过拟合问题
测试集：尽量为与训练集不重合的样本，获取测试误差，作为泛化误差的近似
训练样本-练习 测试样本-考试
6、训练集和测试集的产生
①留出法：直接将数据集划分为两个互斥集合
尽量保持数据分布一致性，分层采样，尽可能减少因划分导致的误差
该方法不稳定，一般采用多次随机划分评估值进行平均
问题:测试集小，评估不准确； 测试集大用训练集训练出的模型和用整个数据集训练的模型差别太大，评估不真实。
无法解决，一般选取2/3~4/5样本作为训练集
②交叉验证法
数据集划分成大小相似的k个子集，为保证数据分布的一致性，一般分层抽样
进行k次训练，每次训练选取k-1个子集作为训练集，另外一个作为测试集，取k次平均作为最终结果
同样，为了减少因样本划分导致的误差，随机用p次不同的划分作k折交叉验证
⭐留一法：若数据集有m个样本，采用m折交叉验证，此时没有因样本划分导致的偏差，而且实际模型与用整个数据集训练的模型相似，结果往往很准确。
但是在大量数据的情况下开销太大
③自助法
自助采样：每次从样本中随机选取一个拷贝到一个数据集中，可重复，m个样本采样m次
用这个新的数据集作为训练集，用那些从未在新数据集中的构成测试集
优点：数据小，难划分数据集和测试集时候有效，可以从初始数据集中产生不同的训练集
缺点：改变了数据集的分布，产生估计偏差
因此对于大量数据一般不使用该方法
7、调参
每个参数选定范围和步长 工作量大
8、验证集
测试集：评估泛化能力，评估算法表现
验证集：模型选择，调节超参数，选择了算法怎么调参得到最佳性能的模型
当选定了算法，对于同一个学习算法，需要调参，所以训练数据又分为了训练集和验证集
数据集：训练集，验证集，测试集
9、性能度量
均方误差，预测结果和真实标记的误差的平方和取平均
10、错误率&精度（见1）
是分类任务中最常用的两种性能度量
11、查准率&查全率
查准率P：所有预测的正例中真正正例的比例——精确率
查全率R：实际上的正例中真正被检测为正例的比例——召回率
一般查准率和查全率成反比关系，随着阈值的提高，查准率提高，查全率降低
P-R曲线
预测出的结果按照可能是正例的概率排序（置信度），从上而下逐个以概率作为分类阈值（见13），也就是依次以前一个为正样本其余为负，前两个为正样本其余为负……计算出的P作为纵轴R作为横轴
①曲线下面积越大越好，但面积不易计算
②平衡点BEP，曲线上查准率等于查全率的值，即y=x与曲线的交点，BEP越大越好
③最常用的度量F1，基于调和平均1/F1=1/2×(1/P+1/R)，F1=2PR/(P+R)；
更一般情况，不同情况对查准率和查全率偏好不同加权调和平均，1/F=1/(1+β²)×(1/P+β²/R)， F=(1+β²)×P×R/((β²×P)+R)
β>1查全率影响更大，0<β<1查准率影响更大
12、混淆矩阵
即课本表2.1真实类别和学习器预测类别组成的表
对多个混淆矩阵要考察
①先分别算出每个矩阵上的查全率和查准率再平均——宏
②或者对混淆矩阵对应元素平均，然后根据平均值计算P，R，F1——微
13、分类阈值
学习器为预测样本产生概率预测，设置一个分类阈值，大于则为正类，反之为负类
14、ROC曲线
同P-R曲线类似，样本按照预测结果排序，先把阈值设为最大，即所有均为反例，然后按顺序逐个把样本作为正例预测，纵轴为正正例率，横轴为假正例率
显然y=x是随机猜测模型，图像越靠近y轴越好
AUC，ROC曲线下的面积，面积越大学习器越优
AUC=1-Lrank (Lrank损失)
15、代价曲线
不同类型的错误造成的后果不同，也就是错误具有非均等代价
代价矩阵：第i类样本预测为第j类样本的代价，一般正确预测代价为0
目的：不是最小化错误次数，而是最小化总代价
代价敏感版性能度量
代价曲线：横轴正例概率代价，纵轴归一化总代价
对于每一个阈值 ROC权限上的一个点，在考虑代价后对应代价曲线上的一条线，画出所有的线，所有线段的下界围成的面积就是期望总代价
16、比较检验
怎么对性能度量的结果比较？测试集上和实际泛化性能区别，测试机本身的大小以及样例不同测试结果不同，相同的算法，参数，测试集每次运行的结果也可能不同
统计假设检验：基于假设检验结果判断出测试集上的结果和实际泛化性能关系，以及得到这样结论的把握
17、假设检验（待进一步学习）
根据测试错误率，对学习器泛化错误率分布的猜想
①单个学习器：
一次训练：二项检验
多个测试错误率：t检验 t分布
②多个学习器：
（1）两个算法：
K折交叉验证：对性能相同做t检验——五次二折交叉验证
二分类：McNemar检验 自由度为1的卡方分布
（2）多个算法：
Friedman检验：卡方分布
Nemenyi后续检验：tukey分布
18、偏差方差
偏差-方差分解
偏差：期望输出与真实标记偏离——算法拟合能力
方差：样本数相同的不同训练集方差——数据扰动造成的影响
噪声：算法达到的期望泛化误差下界——问题本身的难度
泛化误差=偏差+方差+噪声
偏差和方差存在一定冲突

公式推导参考南瓜书：Pumpkin Book