统计学习方法学习笔记

第1章 统计学习方法概论

• 期望风险是模型关于联合分布的期望损失，经验风险是模型关于训练样本集的平均损失。根据大数定律，当样本容量N趋于无穷时，经验风险趋于期望风险。
• 经验风险最小化等价于极大似然估计。
  结构风险最小化是为了防止过拟合而提出的策略，加入了正则化。
• 贝叶斯估计中的最大后验概率估计，是结构风险最小化的一个例子。
  当模型是条件概率分布，损失函数是对数损失函数、模型复杂度由模型的先验概率表示时，结构风险最小化就等价于最大后验概率估计。
• 奥卡姆剃刀原理: 在所有可能选择的模型中，能够很好地解释已知数据并且十分简单才是最好的模型，也是应该选择的模型。从贝叶斯估计的角度来看，正则化对应于模型的先验概率。可以假设复杂的模型有较小的先验概率，简单的模型有较大的先验概率。
• 泛化误差上界，训练误差小的模型，泛华误差也会小。
• 生成方法的特点: 生成方法可以还原出联合概率分布P(X,Y)，而判别方法则不能；生成方法的学习收敛速度更快，即当样本容量增加的时候，学到的模型可以更快地收敛于真实模型;当存在隐变量时，仍可以用生成方法学习，此时判别方法就不能用。
• 判别方法的特点: 判别方法直接学习的是条件概率P(Y|X)或决策函数f(X), 直接面对预测，往往学习的准确率更高; 由于直接学习P(Y|X)或f(X),可以对数据进行各种程度上的抽象、定义特征并使用特征，因此可以简化学习问题。
• 分类问题
• 标注问题的输入是一个观测序列，输出是一个标记序列或状态序列。
• 回归问题

第2章 感知机

感知机就是一个基于w*x+b的二分类器。
wx+b对应于特