机器学习（十三）——证明逻辑回归属于GLM模型族

原文：http://cs229.stanford.edu/notes/cs229-notes1.pdf

我们现在考虑Logistic回归。这里我们以二进制为例，其中y∈{0，1}。鉴于y是二值的，因此，选择伯努利分布的伯努利族似乎是自然的，以便对给定的x的条件分布y进行建模。在我们将Bernoulli分布表述为指数族分布的过程中，我们有。此外，注意，如果y|x; θ ~Bernoulli(φ),那么E[y|x;θ]=φ。因此，经过与普通最小二乘类似的推导，我们得到

这给出了形式的假设函数。如果您以前想知道我们是如何形成逻辑函数的，这就给出了一个答案：当我们假设条件分布y|x是Bernoulli分布时，那么它是由于GLMS和指数族分布的定义而产生的。