logistic regression逻辑回归推导

一，逻辑回归的由来

逻辑回归是由几率的概念构建线性回归模型，目的是将负无穷到正无穷的线性回归，映射到（0，1）之间。

那么什么是几率？

几率是事件发生的概率除以未发生的概率，设P为事件发生概率，则1-P为事件未发生概率，我们有：

注意odds的范围在[0,正无穷）

我们将odds取log，可以将其取值范围扩展到实数空间[负无穷，正无穷]：

即当odds趋向于0时，取log后的结果可以整体上趋于负无穷，这就是logit函数。

这样，由于logit函数和线性回归模型在同一取值范围，这样我们可以用线性回归模型来表示logit函数：

下一步，我们对式子进一步变形：

二，逻辑回归损失函数推导