模型评估与选择
- 留出法:留出一部分作为验证集合
- 交叉验证:轮流作为验证集合
自助法:随机抽样,袋外误差作为泛化误差,袋外概率1/e 约等于0.368
自助法(boostrap):适用于小数据集,不易区分训练和测试时,抽在抽样误差
- 查全率R:召回率 =(预测正且真实正)/真实正例
- 查准率P:准确率= (预测正且真实正)/预测正例
- F1值: 2pr/(p+r)
- 宏查全率:多个两两分类混淆矩阵查全率的平均
- 微查全率:多个两两分类混淆矩阵对应部分相加求查全率
- P_R曲线:p-r作为坐标轴,曲线与坐标轴包围面积越大效果越好,平衡点(p=r)越高性能越好
- ROC曲线:真正率(查准率)和假正率(假例预测为正例的概率FP/(TN+FP)作为坐标轴
ROC性能:包围面积越大准确率越高
绘制ROC曲线:开始样本全部预测为负类,不断降低阈值,使负类转为正类,当样例为真正类Y坐标上升1/m,当样例为假正类X坐标右移1/m,知道全部样本变为正例(最开始需对样本做评估,按照阈值降序排列,阈值大的例子在阈值减少时率先变为真正例)
线性模型
线性模型通过特征属性的线性加权来预测,权重即表明属性特征重要性,具有较好的解释性
- 线性回归:均方误差最小(最小二乘法)
- 向量形式多元线性回归
线性回归解
对于特征矩阵X当特征数目大于实例(列数大于行数)Xt * X 显然不满秩,则不存在逆矩阵,此时引入L2正则化参数,构成岭回归(B对应W)