统计学习方法-笔记

方法	适用	特点	类型	学习策略	损失函数	学习方法
感知机	二分类	分离超平面	判别模型	极小化误分点到超平面距离	误分点到超平面距离	随机梯度下降
K近邻法	多分类,回归	特征空间,样板点	判别模型
朴素贝叶斯	多分类	特征与类别的联合概率分布,条件独立假设	生成模型	极大似然估计,极大后验概率估计	对数似然损失	概率计算公式.EM算法
决策树	多分类,回归	分类树,回归树	判别模型	正则化的极大似然估计	对数似然损失	特征选择,生成,剪枝
逻辑斯谛回归与最大熵模型	多分类	特征条件下类别的条件概率分布,对线性模型	判别模型	极大似然估计,正则化的极大似然估计	逻辑斯谛损失	改进的迭代尺度算法,梯度下降,拟牛顿法
支持向量机	二分类	分离超平面,核技巧	判别模型	极小化正则化合页损失,软间隔最大化	合页损失	序列最小最优化算法
提升算法	二分类	弱分类器的线性组合	判别模型	极小化加法模型的指数损失	指数损失	前向分步加法算法
EM算法	概率模型参数估计	含隐变量概率模型	极大似然估计,极大后验概率估计	对数似然损失	迭代算法
隐马尔科夫模型	标注	观测序列与状态序列的联合概率分布模型	生成模型	极大似然估计,极大后验概率估计	对数似然损失	概率计算公式,EM算法
条件随机场	标注	状态序列条件下观测序列的条件概率分布,对数线性模型	判别模型	极大似然估计,正则化极大似然估计	对数似然损失	改进的迭代尺度算法,梯度下降,拟牛顿法

表格中的内容来着<统计学习方法>第12章

表格中的生成模型和判别模型的定义为:

生成模型:由数据学习联合概率分布P(X,Y),然后求出条件概率分布P(Y|X),作为预测模型.即:P(Y|X)=P(X,Y)/P(X)

模型表示了给定输入X产生输出Y的生成关系.

判别模型:由数据直接学习决策函数法f(x)或者条件概率分布P(Y|X)作为预测的模型.

生成方法的特点:生成方法可以还原出联合概率分布P(X,Y),而判别方法则不能;生成方法的学习收敛速度更快,即当样本容量增加的时候,学到的模型可以更快的收敛与真实的模型;当存在隐变量时,仍可以用生成方法学习,此时判别方法不能用.

判别方法的特点:判别方法直接学习的是条件概率P(Y|X),或决策函数f(x),直接面对预测,往往学习的准确率更高;由于直接学习P(Y|X)

或者f(x)可以对数据进行各种程度的抽象,定义特征并使用特征,因此可以简化学习问题.