统计学习方法笔记十一----终结篇

前言

　　历经整整50天完成了这一轮对李航博士的《统计学习方法》的学习。在此，要说一声抱歉，第十一章《条件随机场》没有给出介绍，第八章《提升方法》被覆盖之后，我也没有后续添加，如果后面有充足的时间，我会继续添加的。
　　其实，这主要是在自己平时的时间里面来整理的，本应该早就可以整理出来，一方面，是由于个人的拖延症以及贪玩之心；另一方面是，公司业务比较多，没有整时间来梳理这些知识。对于我个人还是有很大不足之处的，我会加以改正。

统计学习方法总结

方法	适用问题	模型特点	模型类型	学习策略	损失函数	学习算法
感知机	二类分类	分离超平面	判别模型	极小化误分点到超平面的距离	误分点到平面距离	随机梯度下降
k近邻	多分类，回归	特征空间，样本点	判别模型	X	X	X
朴素贝叶斯	多分类	特征与类别的联合概率分布，条件独立假设	生成模型	极大似然估计，极大后验概率估计	对数似然损失	概率计算公式，EM算法
决策树	多分类，回归	分类树，回归树	判别模型	正则化的极大似然估计	对数似然损失	特征选择，生成，剪枝
逻辑斯蒂回归于最大熵模型	多类分类	特征条件下类别的条件概率分布，对数线性模型	判别模型	极大似然估计，正则化的极大似然估计	逻辑斯蒂损失	改进的迭代尺度算法，梯度下降，拟牛顿法
支持向量机	二类分类	分离超平面，核技巧	判别模型	极小化正则化合页损失，软间隔最大化	指数损失	序列最小优化算法SMO
提升方法	二类分类	弱分类器的线性组合	判别模型	极小化加法模型的指数损失	指数损失	前向分布加法算法
EM算法	概率模型参数估计	含隐藏变量概率模型		极大似然估计，极大后验概率估计	对数似然损失	迭代算法
隐马尔模型	标注	观测序列与状态序列的联合概率分布模型	生成模型	极大似然估计，极大后验概率估计	对数似然损失	概率计算公式，EM算法
条件随机场	标注	状态序列条件下观测序列的条件概率分布，对数线性模型	判别模型	极大似然估计，正则化极大似然估计	对数似然损失	改进的迭代尺度算法，梯度下降法，拟牛顿法

到次完结

所谓的不平凡就是平凡的N次幂。
                    ------By Ada