DAY2

逻辑回归相比于线性回归，有何异同？

1、逻辑回归处理的是分类问题，线性回归处理的是回归问题，这是两者的本质区别。

• 逻辑回归中，因变量取值是一个二元分布，模型学习出的是：
  $E[y|x;\theta ]$

• 即给定自变量和超参数后，得到因变量的期望，并基于此期望来处理预测分类问题：
  $y^{\prime }={\theta }^{T}x$
  是对我们假设的真实关系
  $y={\theta }^{T}x+\epsilon$
  的一个金色，其中$\epsilon$是误差，我们使用近似项来处理回归问题
  2、分类和回归是机器学习中两个不同的任务。而属于分类算法的逻辑回归，其命名有一定的历史原因。

• 实际上，将逻辑回归的公式进行整理，我们可以得到
  $log\frac{p}{1-p}={\theta }^{T}x$
  其中，p=P(y = 1|x),也就是正样本的概率

• 如果一个时间的记录（odds）定义为该事件发生的概率与该事件不发生概率的比值
  $\frac{p}{1-p}$
  那么逻辑回归可以看做"y=1|x"这一事件的对数几率的线性回归，也就是我们管用的逻辑回归
  3、在关于逻辑回归的讨论中，我们均认为y是因变量，而非
  $\frac{p}{1-p}$
  这便引出了逻辑回归和线性回归的最大区别，即逻辑回归中的因变量是离散的，而线性回归的因变量是连续的

• 在自变量x与超参数$\theta$确定的情况下，逻辑回归可以看做广义的线性回归，在因变量y服从二元分布时的一种特殊情况。

• 而使用最小二乘法求线性回归时，我们认为因变量y符合正态分布。
  于此同时，逻辑回归与线性回归也有相同之处，主要在以下几个方面：
  1、我们可以认为二者都使用了极大似然估计对训练样本进行建模
  2、线性回归使用最小二乘法，实际上就是自变量x与超参数$\theta$确定，因变量y服从正态分布的假设下，使用极大似然估计的一个化简；而逻辑回归中通过对似然函数
  
  的学习来得到最佳$\theta$
  3、. 二者在求解超参数的过程中，都可以使用梯度下降的方法，这也是监督学习中一个常见的相似之处。