统计学习方法学习笔记（第六章 逻辑斯谛回归模型）

一个时间的几率(odds)是指该事件发生的概率与该事件不发生概率的比值。如果事件发生的概率是p，那么该事件的几率是p/1-p,

二项逻辑斯谛回归模型是一种分类模型，对于这种模型而言，对数几率的值是w点x。

这就是说，在逻辑斯谛回归模型中，　输出Y = 1的对数几率是输入x的线性函数。或者说，输出Y = 1的对数几率是由输入x的线性函数表示的模型，即逻辑斯谛回归模型。

线性函数的值越接近正无穷，概率值就越接近1；线性函数的值越接近负无穷，概率值就越接近0。这样的模型就是逻辑斯谛回归模型。

逻辑斯谛模型、最大熵模型归结为以似然函数为目标函数的最优化问题，通常通过迭代算法求解。从最优化的观点看，这时的目标函数具有很好的性质。

支持向量机学习的基本想法是求解能够正确划分训练数据集并且几何间隔最大的分离超平面。对线性可分的训练数据集而言，线性可分分离超平面有无穷多个，但是几何间隔最大的分离超平面是唯一的。这里间隔最大化又称为硬间隔最大化。

硬间隔最大化的直观解释是：对训练数据集找到几何间隔最大的超平面意味着以充分大的确信度对训练数据进行分类。也就是说，不仅将正负实例点分开，而且对最难分的实例点也有足够大的确信度将它们分开。这样的超平面应该对未知的新实例有很好的分类预测能力。