1、统计学习以数据为研究对象,是数据驱动的学科
2、目的是对数据进行预测与分析
3、基本假设是同类数据具有一定的统计规律性
4、考虑--学习什么样的模型、如何学习模型、尽可能提高学习效率
5、包括:监督学习、非监督学习、半监督学习、强化学习
特征空间:每一维对应于一个特征
假设空间:输入空间到输出空间的映射的集合(例如假设决策函数是输入变量的线性函数,那么模型的假设空间就是所有这些线性函数构成的函数集合)
模型:
经验风险最小化是指:
当样本容量足够大时,经验风险最小化能保证有很好的学习效果,但样本容量很小时,会出现过拟合现象。
所以出现了结构风险最小化(structural risk minimization),防止过拟合,等价于正则化。结构风险在经验风险上加上表示模型复杂度的正则化项。
结构风险是指:
贝叶斯估计中的最大后验概率估计就是结构风险最小化的一个例子-------------------------------------?
泛化能力(generalization ability):
学习方法对未知数据的预测能力
考虑二类分类问题,对于泛化误差有泛化误差上界:
避免过拟合:要选择合适的模型复杂度,比如有十个数据点,可以用0~9次多项式函数对数据进行拟合,选择合适的次数,防止过拟合。
正则化
二类分类
精确率,召回率:
感知机
感知机是二类分类的线性分类模型,属于判别模型,是神经网络和支持向量机的基础
条件:数据集是线性可分的!!!!
【压缩感知中的二分类问题DX=Y也可以这样理解,为的求出一个这样的超平面】
【具体解法是随机梯度下降法,例子参考p29 例2.1】
【同时,算法具有收敛性----p31】