机器学习简单梳理

模型评估与选择

• 留出法：留出一部分作为验证集合
• 交叉验证：轮流作为验证集合

• 自助法：随机抽样，袋外误差作为泛化误差，袋外概率1/e 约等于0.368

  自助法（boostrap）：适用于小数据集，不易区分训练和测试时，抽在抽样误差

  • 查全率R：召回率 =（预测正且真实正）/真实正例
  • 查准率P：准确率= （预测正且真实正）/预测正例

  
  

  • F1值： 2pr/(p+r)
  • 宏查全率：多个两两分类混淆矩阵查全率的平均
  • 微查全率：多个两两分类混淆矩阵对应部分相加求查全率
  • P_R曲线：p-r作为坐标轴，曲线与坐标轴包围面积越大效果越好，平衡点（p=r）越高性能越好
  • ROC曲线：真正率（查准率）和假正率（假例预测为正例的概率FP/（TN+FP）作为坐标轴
    

  ROC性能：包围面积越大准确率越高
  绘制ROC曲线：开始样本全部预测为负类，不断降低阈值，使负类转为正类，当样例为真正类Y坐标上升1/m,当样例为假正类X坐标右移1/m,知道全部样本变为正例（最开始需对样本做评估，按照阈值降序排列，阈值大的例子在阈值减少时率先变为真正例）

线性模型

线性模型通过特征属性的线性加权来预测，权重即表明属性特征重要性，具有较好的解释性

• 
  
• 线性回归：均方误差最小（最小二乘法）
  
• 向量形式多元线性回归
  
  线性回归解
  
  

对于特征矩阵X当特征数目大于实例（列数大于行数）Xt * X 显然不满秩，则不存在逆矩阵，此时引入L2正则化参数，构成岭回归（B对应W）