统计学习
指导学习(评估f)
应用
-
预测
-
预测的准确性,不关注解释性
- 股票
-
-
推断
- 哪些自变量和因变量相关
- 因变量与每个预测因子之间的关系
- 因变量与自变量是否能用一个线性方程概括
方法
-
按是否为“参数方法”分类
-
参数方法
-
线性模型(欠光滑,受限的,强解释性)
- 最小二乘法
-
-
非参数方法
- 薄板样条(光滑的,非受限的,弱解释性)
-
-
按“光滑度、解释性”分类
-
解释性强
- lasso回归
- 线性拟合
-
光滑度强
-
半线性
- 广义可加模型(GAM)
-
完全非线性
- 样条法
- 提升法
- 装袋法
- 核函数的支持向量机
-
-
种类
-
定量(回归问题)
- 最小二乘拟合
-
定性(分类问题)
- 逻辑斯蒂
- 贝叶斯分类器
评价模型精度
-
定量
-
均方误差
- 训练均方误差
- 测试均方误差
-
自由度(光滑度)变大
- 过拟合
-
交叉验证
- 使用训练集估计测试均方误差
-
偏差-方差权衡
-
方差(Var)
- 用另一个不同的训练数据集估计f时,估计函数的改变量
-
偏差(Bios)
- 为了选择一个简单的模型逼近真实函数而被带入的误差
-
-
-
定性
-
错误率
- 训练错误
- 测试错误
-