书籍及视频:周志华 机器学习
公式推导:github地址
代码讲解:机器学习实战
第1章 绪论
相关术语:数据、算法、模型、预测(测试样本、泛化能力)
模型:有监督学习(分类、回归)、无监督学习(聚类)
第2章 模型评估与选择
怎样去评估和选择模型,分为几种不同的情况
1.一种训练集一种算法
(1)经验误差与过拟合
样本个数m、输入x、期望输出y、实际输出y’、错误个数a
错误率error rate: E = a/m
accuracy精度:1-E
error误差:|y-y‘|
(2)评估方法(测试泛化能力)
训练集
测试集:留出法、交叉验证法、自助法
验证集(调参)
(3)性能度量 公式
均方误差MSE(wi:一定的权重)
错误率与精度(E与1-E)
查准率P
查全率R
有时候查准率并不有效,所以需要查全率
查准率P与查全率R是反向关系,可以看P-R反向关系图
关于阈值确定,可以看P-R反向关系图,使用平衡点、F1度量(加权)、Fbeta(P和R的加权调和平均)
多分类任务:直接支持多分类的算法、分解成多个二分类问题(度量时的P、R、F1)
2.一种训练多种算法
/1 PR曲线
比较多个模型,可以先看面积
无法比较可以再看F1、Fbeta
/2 ROC曲线 AUC曲线
ROC曲线越饱满越好
AUC = 1 - rank loss
3.多种训练集一种算法
/1 代价敏感函数的错误率计算 = 1/m(圈2 *cost01+圈3 *cost10)
/2 代价曲线
x轴 p 不断变化
y轴 想要总代价(损失期望)最小
4.比较检验(大量的概率论知识)
测试集的泛化 不等于 实际泛化
所以要进行检验
( 建议刷视频,本文只是提纲)