线性回归、逻辑回归

1.定义

线性回归：找到一条直线对样本点进行切分，上图转https://www.zhihu.com/question/304164704， 切分直线有很多，怎么确定哪条线比较好呢？

逻辑回归：所以逻辑回归就是将线性回归（负无穷，正无穷）的结果（用线性回归预测稻田产量、明天温度等任务），通过sigmoid函数映射到(0,1)之间。
 

2.损失函数

（1）线性回归：平方损失函数

（2）逻辑回归：平方损失函数如果将其用于逻辑回归的损失函数，则其数学特性不好，有很多局部极小值，难以用梯度下降法求最优。使用对数损失函数（解释：如果一个样本为正样本，那么我们希望将其预测为正样本的概率p越大越好，也就是决策函数的值越大越好，则logp越大越好，逻辑回归的决策函数值就是样本为正的概率；）

为什么要用log？

样本集中有很多样本，要求其概率连乘，概率为(0,1)间的数，连乘越来越小，利用log变换将其变为连加，不会溢出，不会超出计算精度。

2.1 逻辑回归假设

逻辑回归的第一个假设是：假设数据服从伯努利分布；第二个假设为假设模型的输出值是样本为正例的概率。

3.求解方法：

（1）线性回归：（常用）

最小二乘法：https://zhuanlan.zhihu.com/p/38128785/（矩阵表达、几何意义）

                                      

w 为参数，xi为第i个样本，yi为第i个样本对应的label

具体例子：https://www.cnblogs.com/strangemonkey/p/11391478.html

几何意义：x为样本n维空间，y=ax+b为求解空间，实际意义是将Y投影到p维空间（y维空间）

概率角度：最小二乘法 == noise为gaussian分布的最大似然估计（MLE）

（2）逻辑回归：（极大似然估计）

ps：在逻辑回归模型中，我们最大化似然函数和最小化对数似然损失函数实际上是等价的

2.1 梯度下降

详见梯度下降专栏

4.为什么逻辑回归会比线性回归好

虽然逻辑回归能够用于分类，不过其本质还是线性回归。它仅在线性回归的基础上，在特征到结果的映射中加入了一层sigmoid函数（非线性）映射，即先把特征线性求和，然后使用sigmoid函数来预测。

这主要是由于线性回归在整个实数域内敏感度一致，而分类范围，需要在[0,1]之内。而逻辑回归就是一种减小预测范围，将预测值限定为[0,1]间的一种回归模型。逻辑曲线在z=0时，十分敏感，在z>>0或z<<0处，都不敏感，将预测值限定为(0,1)。

LR在线性回归的实数范围输出值上施加sigmoid函数将值收敛到0~1范围, 其目标函数也因此从差平方和函数变为对数损失函数, 以提供最优化所需导数（sigmoid函数是softmax函数的二元特例, 其导数均为函数值的f*(1-f)形式）。请注意, LR往往是解决二元0/1分类问题的, 只是它和线性回归耦合太紧, 不自觉也冠了个回归的名字(马甲无处不在). 若要求多元分类,就要把sigmoid换成大名鼎鼎的softmax了。

首先逻辑回归和线性回归首先都是广义的线性回归，其次经典线性模型的优化目标函数是最小二乘，而逻辑回归则是似然函数，另外线性回归在整个实数域范围内进行预测，敏感度一致，而分类范围，需要在[0,1]。逻辑回归就是一种减小预测范围，将预测值限定为[0,1]间的一种回归模型，因而对于这类问题来说，逻辑回归的鲁棒性比线性回归的要好。

逻辑回归的模型本质上是一个线性回归模型，逻辑回归都是以线性回归为理论支持的。但线性回归模型无法做到sigmoid的非线性形式，sigmoid可以轻松处理0/1分类问题。
 

5.逻辑回归跟最大熵模型到底有啥区别呢？

逻辑回归跟最大熵模型没有本质区别。逻辑回归是最大熵对应类别为二类时的特殊情况，也就是当逻辑回归类别扩展到多类别时，就是最大熵模型。

分析过程：https://blog.csdn.net/cyh_24/article/details/50359055

参考文献：

https://blog.csdn.net/jiaoyangwm/article/details/81139362