读书笔记
spider_fu
这个作者很懒,什么都没留下…
展开
-
读书笔记-西瓜书-模型评估与选择(3)
性能度量(performance measure) 错误率与精度 适用范围:二分类和多分类 错误率:分类错误的样本数占样本总数的比例。 精度:分类正确的样本数占样本总数的比例。 查准率、查全率与F1 对于二分类问题,可将样例根据其真实类别与学习器预测类别的组合划分为真正例、假正例、真反例、假反例四种情形。分类结果的混淆矩阵: 查准率P和查全率R分别定义为: 一般来说,查准率高,查全率就会偏低;查全率偏高,查准率就会偏低。 查准率-查全率曲线(P-R曲线) 学习器A优于学习器C(A曲线完全保住C曲线原创 2020-12-30 14:46:11 · 194 阅读 · 0 评论 -
读书笔记-西瓜书-模型评估与选择(2)
评估方法 测试集(testing set) 测试学习器对新样本的判别能力,然后以测试集上的测试误差作为泛化误差的近似。 测试集应尽可能与训练集互斥。 留出法(hold-out) 将数据集D划分为两个互斥的集合,一个作为训练集S,另一个作为测试集T。 在分类任务中至少要保持样本的类别比例相似: 在S种正反例比例=在T种正反例比例 测试多次取平均(例如第一次取前百分之30作为测试集,第二次取后百分之30等) 常见做法是将大约2/3~4/5的样本用于训练,剩余样本用于测试。 交叉验证法(cross valida原创 2020-12-18 18:13:45 · 165 阅读 · 2 评论 -
读书笔记-西瓜书-模型评估与选择(1)
经验误差与过拟合 错误率(error rate) 如果在m个样本中有n个样本分类错误,则错误率E=a/m; 精度(accuracy) 精度=1-错误率 误差(error) 学习器的实际预测输出与样本的真实输出之间的差异。学习器在训练集上的误差称为训练误差或经验误差,在新样本上的误差称为泛化误差。 过拟合(过配)和欠拟合(欠配) 过拟合是把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质,这样就会导致泛化能力下降。而欠拟合是指对训练样本的一般性质尚未学习好。 ...原创 2020-12-18 17:29:36 · 86 阅读 · 1 评论