ML：监督学习方法总结

监督学习方法总结

##1 十种监督学习方法

李航统计学习方法第二版中，共介绍了十种监督学习方法：感知机、k近邻、朴素贝叶斯、决策树、逻辑回归与最大熵模型、支持向量机、提升方法、EM算法、隐马尔可夫模型和条件随机场。

首字联为：感K朴决逻，支提E隐条。

十种监督学习方法特点的概括总结表：

方法	适用问题	模型特点	模型类型	学习策略	学习的损失函数	学习算法
感知机	二类分类	分离超平面	判别模型	极小化误分点到超平面距离	误分点到超平面距离	随机梯度下降
K近邻	多类分类，回归	特征空间，样本点	判别模型	-	-	-
朴素贝叶斯	多类分类	特征与类别的联合概率分布，条件独立假设	生成模型	极大似然估计，最大后验概率估计（MAP）	对数似然损失	概率计算公式，EM算法
决策树	多类分类，回归	分类树，回归树	判别模型	正则化的极大似然估计	对数似然损失	特征选择，生成，剪枝
逻辑斯蒂回归与最大熵模型	多类分类	特征条件下类别的条件概率分布，对数线性模型	判别模型	极大似然估计，正则化的极大似然估计	逻辑斯蒂损失	改进的迭代尺度算法，梯度下降法，拟牛顿法
支持向量机	二类分类	分离超平面，核技巧	判别模型	极小化正则化合页损失，软间隔最大化	合页损失	序列最小最优化算法（SMO）
提升方法	二类分类	弱分类器的线性组合	判别模型	极小化加法模型的指数损失	指数损失	前向分步加法算法
EM算法	概率模型参数估计	含隐变量的概率模型	-	极大似然估计，最大化后验概率估计	对数似然损失	迭代算法
隐马尔可夫模型	标注	观测序列与状态序列的联合概率分布模型	生成模型	极大似然估计，最大化后验概率估计	对数似然损失	概率计算公式，EM算法
条件随机场	标注	状态序列条件下观测序列的条件概率分布，对数线性模型	判别模型	极大似然估计，正则化极大似然估计	对数似然损失	改进的迭代尺度算法，梯度下降法，拟牛顿法

2 统计学习方法：模型+策略+学习算法

2.1 模型：

监督学习中，模型就是所要学习的条件概率分布$P(Y|X)$或者决策函数$Y=f(X)$

按问题类型分类：

• 简单分类方法：感知机、k近邻法、朴素贝叶斯法、决策树
• 复杂分类方法：逻辑回归模型、最大熵、支持向量机、提升方法
• 标注方法：隐马尔科夫模型、条件随机场

概率模型和非概率模型：

• 概率模型（由条件概率表示的模型）：朴素贝叶斯、隐马尔科夫模型
• 非概率模型（由决策函数表示的模型）：感知机、k近邻、支持向量机、提升方法
• 概率模型和非概率模型：决策树、逻