Logistic Regression

Logistic Regression 与 Linear Regression 的区别

为何Logistic Regression 不使用Square Error

从数学推到可以看出，当距离训练目标 过远 或 过近是 使用gradient descent 算出的Gradient 值会非常的小

可以画图看一下：

因此 Logistic Regression 配合 Square Error 不容易找出 最优解。

Discriminative vs Generative

Discriminative ： Logistic Regression 直接根据Gradient Descent 计算出W 和B，
Generative : 例如高斯分布 ，先寻找 u1，u2，sigma ，然后在计算出W 和 B

Limitation of Logistic Regression

在这中情况下，Logistic Regression 求得的是平面中的一条直线，没办法吧红色和蓝色的点分在两边。

Solve 1:

人工进行 坐标的变换。

Solve2：

让神经网络自动寻找tranform

l
一个Logistic Regression 可以称为一个 Neuron ， 然后组成Neural Network ，构成Deep Learning .