逻辑回归、线性回归直观感受

在学习线性回归和逻辑回归的时候，遇到过一些问题：
1、为什么线性回归中y是服从正态分布的；
2、为什么逻辑回归是用于分类任务的，却叫做回归；
3、逻辑回归中的损失函数为什么不能用线性回归中的均方差公式，而是通过极大似然估计进行损失函数的定义。

问题一解答（百面机器学习的教学视频和百面机器学习书的知识点解答）

最小二乘法公式推导


这就是最小二乘法的解法，一步到位，都不用机器学习，直接求解出来。这是一大优势，但可想而知，天下没有免费的午餐，它肯定存在一些劣势，比如：

因此，在比较线性回归和逻辑回归的不同的时候，逻辑回归可以看做广义线性回归模型在因变量服从二元分布（0-1分布或者是伯努利分布）时的一个特殊情况；而使用最小二乘法求解线性回归时，我们认为因变量y服从正态分布。

同样，在比较逻辑回归和线性回归的相同之处时，我们可以认为二者都使用了极大似然估计来对训练样本进行建模。线性回归使用最小二乘法，实际上就是在自变量X和超参数θ确定，因变量y服从正态分布的假设下，使用极大似然估计的一个化简；而逻辑回归中通过对似然函数的学习得到最佳的θ。另外，二者在求解超参数的过程中，都可以使用梯度下降的方法，这也是监督学习中一个常见的相似之处。

通过上面的分析，可以知道为什么线性回归中y是服从正态分布的。

问题二解答
分类和回归是如今机器学习中两种不同的任务，而属于分类算法的逻辑回归，其命名是有一定的历史原因的。这个方法最早由统计学家David Cox在他1958年的论文《二元序列中的回归分析》(The regression analysis of binary sequences)中提出，当时人们对于回归与分类的定义与今天有一定区别，只是将“回归”这一名字沿用上了。如果将一个事件的几率定义为该事件发生的概率与该事件不发生的概率的比值p/(1-p)，那么逻辑回归可以看做是对于"y=1|z"这一事件的对数几率的线性回归，于是逻辑回归这一称谓也就延续下来了。
逻辑回归可以看做是广义线性回归在因变量y服从二元分布时的一个特殊情况。

问题三解答