统计学习方法

理解极大似然估计和贝叶斯估计

1.概率（事件发生的概率，去估计事件出现的情况）

2.似然（通过事实，猜测事件最有可能发生的概率，这个概率表示成一个参数）：似然函数推测参数的分布

最大似然估计就是求似然函数的极值

3.贝叶斯估计（认为存在先验概率，求后验概率）

经验风险或者经验损失：损失函数的平均值（理解为训练集上的平均损失）

结构风险=经验风险+r*模型复杂度（模型越复杂，模型复杂度越大）

当样本容量较小时，仅仅使经验风险最小化容易造成过拟合；为防止过拟合，可采用结构风险最小化

正则化：选择经验风险和模型复杂度同时小的模型，即正则化就是实现结构风险最小化

极大似然估计属于经验风险最小化，贝叶斯估计属于结构风险最小化

监督学习分为生成学习和判别学习

生成学习先根据数据学习联合概率，再得到条件概率；判别学习直接根据数据学习条件概率。生成学习的收敛速度快，判别学习的准确率高

朴素贝叶斯和隐马尔科夫模型属于生成学习；感知机，K近邻和决策树属于判别学习

范数

l0范数表示为向量中非零元素的个数；最稀疏的解表示为向量中零元素越多越好

l1范数表示向量中各元素绝对值的和

l2范数表示向量的模：各元素平方的和

线性回归模型+l1正则化：Lasso模型；线性回归模型+l2正则化：Ridge模型（岭模型）

svm

超平面：y(wx+b)=0

支持向量满足：y(wx+b)=1