逻辑斯蒂回归（LR）原理详解及公式推导

说白了，逻辑斯蒂回归实际上就是label y = 1的对数几率是输入x的线性函数的模型。

• 对数几率
  一个事件发生的概率为$P$, 则该事件发生的几率为$\frac{P}{1-P}$, 即为该事件发生的概率除以该事件不发生的概率。
  该事件的对数几率即为：

  $$logit(p) = log\frac{p}{1-p}$$

• 逻辑斯蒂回归模型
  事件$y = 1$ 的对数几率为输入$x$ 的线性函数，即

  $$log\frac{P(y=1|x)}{1-P(y=1|x)} =\omega x+b 　　　　　　(１)$$
  上述模型即为逻辑斯蒂回归模型，因此逻辑斯蒂回归是一种对数线性模型（PS：有可能数据集实际上是线性不可分的，这时候若要用逻辑斯蒂回归，可引入核函数，利用核技巧来实现（PPS：核技巧会在后续SVM算法中提到），利用核函数可以将线性不可分数据集映射到高维空间，在高维空间中，数据集变为线性可分的了）。通过定义合理的损失函数（下文会分析推导），学习得到$\omega ,b$ 的最优值。对于一个新的未知样本$x$， 代入即可得到 P(y