逻辑回归及其python实现

逻辑回归原理

sigmod函数

下图给出了sigmod 函数在不同坐标尺度下的两条曲线图。当 x 为 0 日牝 Sigmoid 函数值为 0.5 。
随着 1 的增大，对应的sigmod值将逼近于 1; 而随着 x 的减小， Sigmoid 值将逼近于 0 。如果横坐标
刻度足够大（下图 ），sigmod 函数看起来很像一个阶跃函数。

原理

上图，将y作为正例的可能性，则1-y是反例的可能性

• 无需事先假设数据分布

• 可得到“类别”的近似概率预测

• 可直接应用现有数值优化算法求取最优解

如何确定最优系数

若将 y 看作类后验概率估计
则：

写为
：

显然

于是，可使用“极大似然法”
给定数据集
最大化“对数似然”(log-likelihood)函数