机器学习校招手册逻辑回归篇

逻辑回归

逻辑回归本身是一个很复杂的问题，但是大部分人把逻辑回归简单化，直接化了。认为LR 就是一个简单的sigmoid函数，但是大部分人甚至都没有想过为什么是sigmoid 函数

Q:为什么逻辑回归是 sigmoid 函数?

A:这个问题可以从两个角度去解释

1) 广义线性回归的本质是指数族分布
2) 类条件概率服从高斯分布先验（可以推广为指数族分布）

基于思路1：指数族分布
广义线性分布是指数族分布吗？为什么是指数族分布就可以证明逻辑回归是sigmoid函数
首先先让我们详细阐述一下：

通常我们在建模的时候，关心的目标变量Y可能服从很多种分布。像线性回归，我们会假设目标变量Y服从正态分布，而逻辑回归，则假设服从伯努利分布。在广义线性模型的理论框架中，则假设目标变量Y则是服从指数分布族，正态分布和伯努利分布都属于指数分布族，因此线性回归和逻辑回归可以看作是广义线性模型的特例。那什么是指数分布族呢？若一个分布的概率密度或者概率分布可以写成这个形式，那么它就属于指数分布族。

其中，η成为分布的自然参数（nature parameter）；T(y)是充分统计量（sufficient statistic），通常T(y)=y。当参数 * a、b、T * 都固定的时候，就定义了一个以η为参数的函数族。

下面我们看 GLM 的形式化定义，GLM 有三个假设：
(1) y| x; θ 满足一个以 η 为参数的指数分布，那么可以求得 η 的表达式。
(2) 给定x，我们的目标是要预测T(y)的期望值，大多数情况下T(y) = y，那么我们实际上要确定一个h(x)，使得h(x)=E[y| x]。
(3)η=θTx。（如果η是向量，那么ηi=θTix）

Q2：交叉熵和最大似然估计的关系是什么？

A2:

这有一篇很精彩的Cross Entropy Loss入门讲解：
https://rdipietro.github.io/friendly-intro-to-cross-entropy-loss/

参考文献:
1 https://www.cnblogs.com/sumai/p/5240170.html
2 https://blog.csdn.net/qq_19645269/article/details/79551576