线性回归和逻辑回归的区别_逻辑回归：线性二分类和非线性激活

背景介绍

比如，当已知y的区间为[0, 1] 时，线性回归就保证不了预测值属于这个区间。

Selva Prabhakaran blog

逻辑回归

Logistic Regression：二分类线性分类器。

NG cs229

逻辑回归属于线性分类器？

逻辑回归是个二分类器(binary classification)。虽说逻辑函数是"S"形曲线，但其分类边界还是一条直线，所以归为线性分类器。
由于S形曲线，输入很大或很小时，输出并不敏感，能有效处理一些异常数据。

神经网络

逻辑回归可以看作没有隐藏层的多层感知机(MLP)：

其深度学习实现如下：

PaddlePaddle

交叉熵与KL散度

逻辑回归最大化log似然，等价于最小化交叉熵。

KL散度用于衡量两个分布距离，当两个分布相同时，KL散度为0。
如下定义可知，KL散度是两个分布的相对熵，即两分布的交叉熵与真实分布熵的差，而真实分布P的熵是固定不变的，所以二者是一致的。

koller pgm

激活函数

在深度神经网络中，sigmoid是常见的激活函数，主要让映射关系变得非线性，增加网络近似能力。

如果MLP中使用的都是sigmoid激活函数，整个神经网络可以看作是逻辑回归的多层递归。
由于sigmoid激活函数在x很大或很小时，out的值基本不变，进入饱和区，此时梯度很小趋于0，这样在反向传播梯度学习时，学习会变得很慢。

自然逻辑

0、1逻辑，中间接近线性、过大过小趋于稳定，直觉上，这是很自然的一种平滑。
这种看似简易的非线性，经过多层递归，却能表达任意函数。