本文是一篇学习笔记,参考《统计学习方法》一书加上自己的理解,对整个统计学习方法有个整体把握。
什么是统计学习?
拿到一些数据,发现这些数据中的规律或知识,将这些规律或知识用来分析新的数据,这就是统计学习。
不难发现,统计学习有一个基本假设:同类数据具有一定的统计规律性。
而统计学习的目的就是:对新数据进行预测和分析。
以监督学习为主进行讨论。
监督学习:学习一个模型,使模型能够对任意给定的输入,都可以很好地预测一个输出。
如何进行统计学习?
统计学习方法有三要素:模型+策略+算法。
模型
在监督学习中,模型表现有两种表现形式:
- 条件概率分布
- 决策函数
首先需要定义一个假设空间,这个假设空间包含所有可能的条件概率分布或决策函数。下一步就是用一定的策略去找一个最好的条件概率分布或决策函数。
策略
通常用损失函数和风险函数来度量模型预测好坏。两者的区别是,损失函数度量一次预测的好坏,风险函数度量平均意义下预测的好坏。两者的关系是,风险函数是损失函数的数学期望。
我们希望风险函数越小越好,所以风险最小的模型就是最好的模型。
为了防止“过拟合”现象,通常需要在风险函数上加上一个表示模型复杂度的正则项,构成目标函数。
最终,监督学习问题变成了目标函数的最优化问题。
算法
由于监督学习问题归结为最优化问题,因此,需要有一个算法来得到这个最优解。
如何评价学出来的模型?
学习方法评估标准:
- 训练误差
- 测试误差
训练误差——模型关于训练集的平均损失
测试误差——模型关于测试集的平均损失
如果训练误差小,测试误差大,说明出现了过拟合。此时模型复杂度往往过高,对未知数据的预测能力不强,也就是泛化能力不强。
我们希望最终训练误差和测试误差都比较小。
今天就到这里。由于是对整个统计学习框架的感性认识,所以没有公式也没有图表。在往后学习过程中有新的体会再进行补充。——2016.5.24