方法 | 适用 | 特点 | 类型 | 学习策略 | 损失函数 | 学习方法 |
感知机 | 二分类 | 分离超平面 | 判别模型 | 极小化误分点到超平面距离 | 误分点到超平面距离 | 随机梯度下降 |
K近邻法 | 多分类,回归 | 特征空间,样板点 | 判别模型 | |||
朴素贝叶斯 | 多分类 | 特征与类别的联合概率分布,条件独立假设 | 生成模型 | 极大似然估计,极大后验概率估计 | 对数似然损失 | 概率计算公式.EM算法 |
决策树 | 多分类,回归 | 分类树,回归树 | 判别模型 | 正则化的极大似然估计 | 对数似然损失 | 特征选择,生成,剪枝 |
逻辑斯谛回归与最大熵模型 | 多分类 | 特征条件下类别的条件概率分布,对线性模型 | 判别模型 | 极大似然估计,正则化的极大似然估计 | 逻辑斯谛损失 | 改进的迭代尺度算法,梯度下降,拟牛顿法 |
支持向量机 | 二分类 | 分离超平面,核技巧 | 判别模型 | 极小化正则化合页损失,软间隔最大化 | 合页损失 | 序列最小最优化算法 |
提升算法 | 二分类 | 弱分类器的线性组合 | 判别模型 | 极小化加法模型的指数损失 | 指数损失 | 前向分步加法算法 |
EM算法 | 概率模型参数估计 | 含隐变量概率模型 | 极大似然估计,极大后验概率估计 | 对数似然损失 | 迭代算法 | |
隐马尔科夫模型 | 标注 | 观测序列与状态序列的联合概率分布模型 | 生成模型 | 极大似然估计,极大后验概率估计 | 对数似然损失 | 概率计算公式,EM算法 |
条件随机场 | 标注 | 状态序列条件下观测序列的条件概率分布,对数线性模型 | 判别模型 | 极大似然估计,正则化极大似然估计 | 对数似然损失 | 改进的迭代尺度算法,梯度下降,拟牛顿法 |
表格中的内容来着<统计学习方法>第12章
表格中的生成模型和判别模型的定义为:
生成模型:由数据学习联合概率分布P(X,Y),然后求出条件概率分布P(Y|X),作为预测模型.即:P(Y|X)=P(X,Y)/P(X)
模型表示了给定输入X产生输出Y的生成关系.
判别模型:由数据直接学习决策函数法f(x)或者条件概率分布P(Y|X)作为预测的模型.
生成方法的特点:生成方法可以还原出联合概率分布P(X,Y),而判别方法则不能;生成方法的学习收敛速度更快,即当样本容量增加的时候,学到的模型可以更快的收敛与真实的模型;当存在隐变量时,仍可以用生成方法学习,此时判别方法不能用.
判别方法的特点:判别方法直接学习的是条件概率P(Y|X),或决策函数f(x),直接面对预测,往往学习的准确率更高;由于直接学习P(Y|X)
或者f(x)可以对数据进行各种程度的抽象,定义特征并使用特征,因此可以简化学习问题.