统计学习方法（12）总结

本系列将对李航老师写的《统计学习方法》的关键点和相关公式进行总结。主要内容包括：

1. 统计学习方法概论

2. 感知机

3. K近邻

4. 朴素贝叶斯法

5. 决策树

6. 逻辑回归与最大熵模型

7. 支持向量机

8. 提升方法

9. EM算法及其推广

10. 隐马尔科夫模型

11. 条件随机场

12. 统计学习方法总结

12.1 适用问题

1）本书主要讨论监督学习——学习一个模型，使它能对给定的输入预测相应的输出；

2）监督学习问题包括：

    a）分类：从实例的特征向量——>类标记的预测问题；

    b）标注：从观测序列——>标记序列（或状态序列）的预测问题，分类是标注的特例；

    c）回归：预测输入变量（自变量）与输出变量（因变量）之间的关系；

3）学习方法分类

    a）分类方法：感知机、k近邻法、朴素贝叶斯法、决策树、逻辑回归、最大熵模型、SVM、提升方法；

    b）标注方法：隐马尔科夫模型、条件随机场；

    c）回归方法：k近邻、决策树；

12.2 学习模型

1）判别模型：直接学习条件概率分布或者决策函数的方法，如感知机、k近邻法、决策树、逻辑回归、最大熵模型、SVM、提升方法、条件随机场；

2）生成模型：先学习联合概率分布，从而求得条件概率分布的方法，如朴素贝叶斯法和隐马尔科夫模型。

3）线性模型：感知机、线性SVM

4）对数线性模型：逻辑回归、最大熵模型、条件随机场

5）非线性模型：k近邻法、决策树、SVM（核函数）、提升方法

12.3 学习策略

１）使用对数似然损失：朴素贝叶斯法、决策树、隐马尔科夫模型、条件随机场、EM算法

２）使用合页损失：SVM

３）使用指数损失：提升方法

４）使用逻辑损失：逻辑回归、最大熵模型

５）误分点到平面的距离：感知机

12.4 学习算法

1）统计学习问题具体化——>最优化问题——>通常无解析解——>用数值计算或者启发式方法求解。

2）极大似然估计值：朴素贝叶斯法和隐马尔科夫模型监督学习的最优解；

3）梯度下降法、牛顿法：无约束最优化问题的解法，如感知机、逻辑回归、最大熵模型、条件随机场；

4）SMO算法：SVM求解凸二次规划对偶问题：如序列最小最优化算法（SMO）；

5）启发式算法：决策树学习（特征选择、生成、剪枝）、提升方法（前向分步加法算法）；

６）EM算法：一种迭代的含有隐变量的概率模型的一般学习算法，可以用于生成模型的非监督学习。