逻辑斯谛回归与最大熵分类模型

1 逻辑斯谛算法

1.1 工作原理

逻辑斯谛是一种最优化算法。根据现有数据对分类边界线建立回归公式，相当于找出一些拟合参数，将两类数据尽可能的分开。为了实现回归分类，我们给每个特征分配一个回归系数，然后把所有结果相加，为了能让这个结果可以表示分类，我们另外使用一个阶跃函数Sigmoid，将结果带入，函数可以使输出范围控制在0-1之间，大于0.5分为1类，小于0.5分为0类。

1.2 三要素

模型：条件概率模型、对数线性函数决策模型

策略：对数似然函数最大化、逻辑斯谛损失（预测值与真实值的差）

算法：梯度下降算法

注：随机梯度下降算法更快速，不容易陷入局部最优解。

条件概率模型和对数线性模型可以相互转化，即表示为输出Y=1的对数几率是输入x的线性函数。

优点：计算代价不高，易于理解和实现。