线性回归与对数几率(Logistic)回归的区别与联系

1 线性回归

线性回归其实就是高中讲过的那种回归，但是不同的是线性回归在神经网络这里大多使用梯度下降来计算参数$w,b$，而高中讲的是使用最小二乘法。
线性回归想解决的问题也是回归问题，公式：
$$y=wx+b$$
也可以写成：
$$h_{\theta }(x)=\theta x$$
用图形表示的话：

如果更新方式使用梯度下降，其中损失函数为：

$$Loss=\frac{1}{2}\sum _i(\widehat{y_i}-y_i{)}^2$$
一个线性回归的输出点$y$更像是一个没有激活的神经元，因此在pytorch里的普通神经网络层叫做nn.Linear(input, output, bias=True)。

2 Logistic回归

与线性回归相比，Logistic回归结构只是在其基础上多了一个激活的过程。
公式：
$$h_{\theta }(x)=\frac{1}{1+e^{-{\theta }^{T}x}}$$
用图形表示的话：

粉色代表一个非线性化过程。因为Logistic回归输出结果在(0,1)之间，往往用这个值做二分类，当输出$y>0.5$时，代表1类；当输出$y\le 0.5$时，代表0类。
这里面除了结构的区别之外，还有一个地方有区别，那就是损失函数的表达式不同。因为Loss此时和$\theta$的关系非线性程度较大，如果还使用平方差损失函数的话，就会比较麻烦（不是不行）。因此在Logistic回归中损失函数的公式为交叉熵：
$$Loss=-ylog(h_{\theta }(x))-(1-y)log(1-h_{\theta }(x))$$
这里用到了真实值$y$只有两个取值$0,1$，使得计算过程得到了高效的转化。
一个线性回归的输出点$y$更像是一个激活的神经元。这里有一个细节，Logistic回归翻译成汉语应该是对数几率回归，而不是逻辑回归。

3 总结

Logistic回归相当于在线性回归的基础上，多了一个sigmoid激活函数。因为结构上的这个区别，导致了以下两点主要的区别：

1）由于sigmoid可以将数值映射到0~1之间，因此Logistic回归主要用于二分类。

2) 为了方便计算，Logistic使用交叉熵损失函数。