逻辑回归的输出值为什么可以作为概率？

为什么逻辑回归的输出值可以作为概率？或者说为什么逻辑回归要求假设因变量符合伯努利分布？

这是因为逻辑回归（Logistic Regression）的Sigmoid函数是符合广义线性模型（General Linear Model）的伯努利分布（Bernoulli Distribution）的规范联结函数（Canonical Link Function）的反函数，Sigmoid函数将线性函数映射到伯努利分布的期望

要解释清楚上面的这段话，还得从广义线性模型（GLM）（详见：传送门）说起

广义线性模型不是一个模型，而是一类模型的总称，当一个模型属于指数分布族时，我们认为该模型是广义线性模型的一个特例

每一个特定的广义线性模型对应一个特定的分布，例如我们之前提到的线性回归模型，对应的是正态分布

广义线性模型中，每一个分布都对应存在一个正则（规范）联结函数（Canonical Link Function），这一函数的反函数可以将线性函数映射到该分布的期望

例如，通过正态分布的正则联结函数的反函数，我们可以将线性回归模型映射到正态分布的期望值$\mu$，这正是我们所熟悉的线性回归模型中所做的事情

为什么线性回归要求假设因变量符合正态分布？这是因为线性回归对于一个新的数据的预测值，其本身就是正态分布的期望（详见：传送门），如果我们所使用的数据本身不符从正态分布，那么强行使用线性回归显然会得到一个很差的结果

与之相似，逻辑回归也是广义线性模型的特例，其对应的分布是伯努利分布

而Sigmoid函数是伯努利分布的联结函数的反函数，它将线性函数映射到了伯努利分布的期望上，而伯努利分布的期望本身就是概率，因此，逻辑回归得到的输出可以代表概率，也正是因为它代表概率，才落在(0,1)之间

如果该函数的反函数能够将线性方程映射到某个广义线性模型的期望，则该函数称为联结函数，使用$\mathrm{g}(\cdot )$表示，联结函数的反函数使用${\mathrm{g}}^{\prime }(\cdot )$表示

例如，对于线性函数
$$y={\omega }^{T}x+b$$

使用$\ln (\cdot )$联结函数将上面线性函数转换为非线性函数，即$\ln (\cdot )$联结函数的反函数为
$$y=e^{{\omega }^{T}x+b}$$

如果使用Sigmoid函数
$$s(z)=\frac{1}{1+e^{-z}}$$

作为联结函数将上述线性函数转换为非线性函数，即Sigmoid联结函数的反函数为
$$s^{\prime }(z)=s(z)(1-s(z))$$

具体计算过程见文章：传送门

即Sigmoid函数的联结函数的反函数是伯努利分布（详见：传送门），该函数将线性函数映射到伯努利分布的期望上，使其输出可以作为概率

推导过程详见文章：传送门