监督学习方法总结
##1 十种监督学习方法
李航统计学习方法第二版中,共介绍了十种监督学习方法:感知机、k近邻、朴素贝叶斯、决策树、逻辑回归与最大熵模型、支持向量机、提升方法、EM算法、隐马尔可夫模型和条件随机场。
首字联为:感K朴决逻,支提E隐条。
十种监督学习方法特点的概括总结表:
方法 | 适用问题 | 模型特点 | 模型类型 | 学习策略 | 学习的损失函数 | 学习算法 |
---|---|---|---|---|---|---|
感知机 | 二类分类 | 分离超平面 | 判别模型 | 极小化误分点到超平面距离 | 误分点到超平面距离 | 随机梯度下降 |
K近邻 | 多类分类,回归 | 特征空间,样本点 | 判别模型 | - | - | - |
朴素贝叶斯 | 多类分类 | 特征与类别的联合概率分布,条件独立假设 | 生成模型 | 极大似然估计,最大后验概率估计(MAP) | 对数似然损失 | 概率计算公式,EM算法 |
决策树 | 多类分类,回归 | 分类树,回归树 | 判别模型 | 正则化的极大似然估计 | 对数似然损失 | 特征选择,生成,剪枝 |
逻辑斯蒂回归与最大熵模型 | 多类分类 | 特征条件下类别的条件概率分布,对数线性模型 | 判别模型 | 极大似然估计,正则化的极大似然估计 | 逻辑斯蒂损失 | 改进的迭代尺度算法,梯度下降法,拟牛顿法 |
支持向量机 | 二类分类 | 分离超平面,核技巧 | 判别模型 | 极小化正则化合页损失,软间隔最大化 | 合页损失 | 序列最小最优化算法(SMO) |
提升方法 | 二类分类 | 弱分类器的线性组合 | 判别模型 | 极小化加法模型的指数损失 | 指数损失 | 前向分步加法算法 |
EM算法 | 概率模型参数估计 | 含隐变量的概率模型 | - | 极大似然估计,最大化后验概率估计 | 对数似然损失 | 迭代算法 |
隐马尔可夫模型 | 标注 | 观测序列与状态序列的联合概率分布模型 | 生成模型 | 极大似然估计,最大化后验概率估计 | 对数似然损失 | 概率计算公式,EM算法 |
条件随机场 | 标注 | 状态序列条件下观测序列的条件概率分布,对数线性模型 | 判别模型 | 极大似然估计,正则化极大似然估计 | 对数似然损失 | 改进的迭代尺度算法,梯度下降法,拟牛顿法 |
2 统计学习方法:模型+策略+学习算法
2.1 模型:
监督学习中,模型就是所要学习的条件概率分布 P ( Y ∣ X ) P(Y|X) P(Y∣X)或者决策函数 Y = f ( X ) Y=f(X) Y=f(X)
按问题类型分类:
- 简单分类方法:感知机、k近邻法、朴素贝叶斯法、决策树
- 复杂分类方法:逻辑回归模型、最大熵、支持向量机、提升方法
- 标注方法:隐马尔科夫模型、条件随机场
概率模型和非概率模型:
- 概率模型(由条件概率表示的模型):朴素贝叶斯、隐马尔科夫模型
- 非概率模型(由决策函数表示的模型):感知机、k近邻、支持向量机、提升方法
- 概率模型和非概率模型:决策树、逻