机器学习：《李航统计学方法》三

逻辑斯谛回归与最大熵模型
一个是经典分类方法，一个是概率模型学习的准则。
首先是逻辑斯蒂分布：

逻辑斯谛还分为二项和多项。

最大熵原理：
这是概率模型学习的一个准则，这个原理认为

，学习概率模型时，再所有可能的概率模型中，熵最大的模型适最好的模型，也可以表述为在满足约束条件的模型集合中选取熵最大的模型

在求最大熵模型的时候，需要根据拉格朗日对偶性来求得。并且在最大熵学习中的对偶函数极大化等价于最大熵模型的极大似然估计这个事实。

基于改进的迭代尺度法与拟牛顿法的最大熵模型学习算法：
改进的迭代尺度法是一种最大熵模型学习的最优化算法
目的是通过极大似然估计学习模型参数，即求对数似然函数的极大值。

支持向量机
也就是鼎鼎大名的SVM，是一种二类分类模型，他的基本模型适定义在特征空间上的间隔最大的线性分类器，间隔最大使得他有别于感知机，支持向量机还包括核技巧，这使他成为实质上的非线性分类器，支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次规划的问题，也等价于正则化的合页损失函数的最小化问题。

有各种各样的模型：

1. 线性可分支持向量机
2. 线性支持向量机
3. 非线性支持向量机
   在这其中，通过使用核函数可以学习非线性支持向量机，等价于隐式地在高维的特征空间中学习线性支持向量机，这个方法称之为核技巧。

线性可分支持向量机与硬间隔最大化
假设输入空间和特征空间为两个不同的空间，输入空间是欧式空间或者离散集合，特征空间是欧式空间或者希尔伯特空间，
学习的目标是在特征空间中找到一个分离超平面，能够将实例分到不同的类。
其中的线性可分支持向量机：就是给定线性可分训练数据集，通过间隔最大化或等价的求解相应的凸二次规划问题学习得到的分离超平面：

函数间隔和几何间隔：也就是一个点与对应的分离超平面之间的距离，一般来说，距离越远，准确度越高。
一个点距离分离超平面的远近可以表示分类预测的确信程度，而距离就是w*x+b,并且在前面再加一个y的符号，这样就可以表示分类的准确性和确信度，这就是函数间隔。
几何间隔：对法向量进行约束，比如规范化，使得间隔是确定的。

间隔最大化
向量机的想法就是求解能过正确划分训练数据集并且几何间隔最大的分类超平面。

对训练数据集找到几何间隔最大的超平面意味着以充分的确信度对训练数据进行分类，也就是说，不仅将正负实例点分开，而且对最难分的实例点（离超平面最近的点）也有足够大的确信度将他们分开，这样的超平面应该对未知的新实例有很好的分类预测能力。

最大间隔分离超平面
首先他的存在是唯一的，并且支持向量和间隔边界。
对偶算法：
将最优化问题作为原始的，再应用拉格朗日对偶性，通过求解对偶问题得到原始问题的最优解，这就是对偶算法。

线性支持向量机与软间隔最大化
出现的前提是因为，将其扩展到线性不可分的时候，修改硬间隔最大化，使其成为软间隔最大化，让其中一些特异点，将这些特异点除去后，剩下大部分样本点组成的集合是线性可分的。
非线性支持向量机与核函数
对于分类问题是非线性的，可以使用非线性支持向量机，主要是用核技术。
核技术
1.非线性分类问题
就是通过利用非线性模型才能很好的进行分类的问题