李航《统计学习方法》摘录

1、统计学习以数据为研究对象，是数据驱动的学科

2、目的是对数据进行预测与分析

3、基本假设是同类数据具有一定的统计规律性

4、考虑--学习什么样的模型、如何学习模型、尽可能提高学习效率

5、包括：监督学习、非监督学习、半监督学习、强化学习

特征空间：每一维对应于一个特征

假设空间：输入空间到输出空间的映射的集合（例如假设决策函数是输入变量的线性函数，那么模型的假设空间就是所有这些线性函数构成的函数集合）

模型：

经验风险最小化是指：

当样本容量足够大时，经验风险最小化能保证有很好的学习效果，但样本容量很小时，会出现过拟合现象。

所以出现了结构风险最小化（structural risk minimization），防止过拟合，等价于正则化。结构风险在经验风险上加上表示模型复杂度的正则化项。

结构风险是指：

贝叶斯估计中的最大后验概率估计就是结构风险最小化的一个例子-------------------------------------？

泛化能力（generalization ability）：

学习方法对未知数据的预测能力

考虑二类分类问题，对于泛化误差有泛化误差上界：

避免过拟合：要选择合适的模型复杂度，比如有十个数据点，可以用0~9次多项式函数对数据进行拟合，选择合适的次数，防止过拟合。

正则化

二类分类

精确率，召回率：

感知机

感知机是二类分类的线性分类模型，属于判别模型，是神经网络和支持向量机的基础

条件：数据集是线性可分的！！！！

【压缩感知中的二分类问题DX=Y也可以这样理解，为的求出一个这样的超平面】

【具体解法是随机梯度下降法，例子参考p29 例2.1】

【同时，算法具有收敛性----p31】