10种主要的统计学习方法总结

《统计学习方法》笔记

---

1.感知机

适用问题：二分类问题

模型特点：分离超平面

模型类型：判别模型

学习策略：极小化误分类点到超平面距离

学习的损失函数：误分类点到超平面距离

学习算法：随机梯度下降法

---

2.k近邻

适用问题：多类分类，回归

模型特点：特征空间，样本点

模型类型：判别模型

---

3.朴素贝叶斯法

适用问题：多类分类

模型特点：特征与类别的联合概率分布、条件独立假设

模型类型：生成模型

学习策略：极大似然估计，极大后验概率估计

学习的损失函数：对数似然损失

学习算法：概率计算公式，EM算法

---

4.决策树

适用问题：多类分类，回归

模型特点：分类树，回归树

模型类型：判别模型

学习策略：正则化的极大似然估计

学习的损失函数：对数似然损失

学习算法：特征选择，生成，剪枝

---

5.逻辑回归与最大熵模型

适用问题：多类分类

模型特点：特征条件下类别的条件概率分布，对数线性模型

模型类型：判别类型

学习策略：极大似然估计，正则化的极大似然估计

学习的损失函数：逻辑损失

学习算法：改进的迭代尺度算法，梯度下降，拟牛顿法

---

6.支持向量机

适用问题：二分类问题

模型特点：分离超平面，核技巧

模型类型：判别模型

学习策略：极小化正则化合页函数，软间隔最大化

学习的损失函数：合页损失

学习算法：序列最小优化算法（SMO）

---

7.提升方法

适用问题：二分类

模型特点：弱分类器的线性组合

模型类型：判别模型

学习策略：极小化加法模型的指数损失

学习的损失函数：指数损失

学习算法：前向分布加法算法

---

8.EM算法

适用问题：概率模型估计参数

模型特点：含隐变量概率模型

学习策略：极大似然估计，极大后验概率估计

学习的损失函数：对数似然损失

学习算法：迭代算法

---

9.隐马尔科夫模型

适用问题：标注

模型特点：观测序列与状态序列的联合概率分布模型

模型类型：生成模型

学习策略：极大似然估计，极大后验概率估计

学习的损失函数：对数似然损失

学习算法：概率计算公式，EM算法

---

10.条件随机场

适用问题：标注

模型特点：状态序列条件下观察序列的条件概率分布，对数线性模型

模型类型：判别模型

学习策略：极大似然估计，正则化极大似然估计

学习的损失函数：对数似然损失

学习算法：改进的迭代尺度算法，梯度下降，拟牛顿法