最大似然估计法求解逻辑回归问题

1. 逻辑回归
逻辑回归是一个二分类问题。尽管与线性回归模型所解决的问题不同，但他们有许多相似之处。线性回归拟合线（超平面）来预测真实值，逻辑回归拟合线（超平面）来将样本分开。
相比于线性回归模型：
$$\hat{y}=X\times \beta ,$$
逻辑回归模型通过非线性函数（sigmoid)将输入的加权和压缩到0-1:
$$\hat{y}=\frac{1}{1+exp(-(X\times \beta ))}.$$
y-hat服从binomial probability distribution。
和线性回归模型求解一样，我们可以通过最小二乘法or最大似然估计法来求解逻辑回归模型。

---

2. Log-Odds
在开始介绍基于最大似然估计法之前，我们先来理解一下逻辑回归真正在计算什么？ 这可能是最难理解的一部分。

什么是odds？odds通常由 （wins：losses）来表示。给定逻辑回归模型预测的类别为1的概率p下，我们称odds of success（成功的机率）为：
$$\mathrm{o}\mathrm{d}\mathrm{d}\mathrm{s}=\mathrm{o}\mathrm{d}\mathrm{d}\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{s}\mathrm{u}\mathrm{c}\mathrm{c}\mathrm{e}\mathrm{s}\mathrm{s}=\frac{\mathrm{p}}{1-\mathrm{p}}.$$

逻辑回归模型中线性部分（输入的加权和）计算的是一个成功事件（类别为1）的log-odds，换句话说，log-odds是属于类别1的样本的加权和：
$$\mathrm{l}\mathrm{o}\mathrm{g}\mathrm{o}\mathrm{d}\mathrm{d}\mathrm{s}={\beta }_0+{\beta }_1\times {\mathrm{x}}_1+...+{\beta }_{\mathrm{n}}\times {\mathrm{x}}_{\mathrm{n}}.$$

同时：
$$\mathrm{o}\mathrm{d}\mathrm{d}\mathrm{s}=\mathrm{e}\mathrm{x}\mathrm{p}(\mathrm{l}\mathrm{o}\mathrm{g}\mathrm{o}\mathrm{d}\mathrm{d}).$$
因此：
$$p=\frac{\mathrm{o}\mathrm{d}\mathrm{d}\mathrm{s}}{\mathrm{o}\mathrm{d}\mathrm{d}\mathrm{s}+1}.$$
$$p=\frac{1}{1+\mathrm{e}\mathrm{x}\mathrm{p}(-\mathrm{l}\mathrm{o}\mathrm{g}-\mathrm{o}\mathrm{d}\mathrm{d}\mathrm{s})}$$
这显示了我们如何通过逻辑回归模型计算从log-odds到odds，再到类别1的概率的过程。

---

3. 最大似然估计
和线性回归模型一样，我们希望最大化：
$$P(X;\theta )$$
$$\mathrm{m}\mathrm{a}\mathrm{x}\sum \mathrm{l}\mathrm{o}\mathrm{g}\mathrm{P}({\mathrm{y}}_{\mathrm{i}}|{\mathrm{x}}_{\mathrm{i}};\mathrm{h})。$$

我们将模型假设h替换为逻辑回归模型。
$$\mathrm{m}\mathrm{i}\mathrm{n}\sum -(\mathrm{l}\mathrm{o}\mathrm{g}(\widehat{{\mathrm{y}}_{\mathrm{i}}})\times {\mathrm{y}}_{\mathrm{i}}+\mathrm{l}\mathrm{o}\mathrm{g}(1-\widehat{{\mathrm{y}}_{\mathrm{i}}}\times (1-{\mathrm{y}}_{\mathrm{i}}))$$