【逻辑回归 Logistic Regression】

逻辑回归 Logistic Regression

定义：逻辑回归 = 线性回归 + sigmoid

提出：三好学生问题

我们对于好学生的定义可以从学习、体育、道德三个评价指标入手。
最常见的就是将学习好坏做完评价指标，对于学习的比重设置为a1,但是学习不能单纯的做完三好学生的唯一标准，这个时候可以再加上影响因子B，使用一个线性方程来表示三好学生的选择。

Y=a1X + B 就是图片中的函数表达式：
横坐标代表学生的成绩score,纵坐标代表三好学生的评估值，我们使用四个已知样本就可以确定参数a1和B,这样后面的三个绿色的点代表着，可以通过后三个人的成绩，代入到前四个人学习到的规律中以判断待测学生，三号学生的评估值。

但是我们的数据不可能都是按照我们的心愿来的，总有一些错误的数据，或者叫脏数据混入到我们的样本中，这样就会导致我们学习到错误的规律，那么如何解决这个问题呢？这也是线性回归的问题。

如果我们可以迁就那几个离群的错误点，就可能导致我们学习的规律不能准确的反应大多数样本的情况，并且误差很大，此时我们会考虑对原有的线性函数做一个非线性变化，将他的y值映射到0-1之间的概率区间，这样我们就尽可能的将误差点对学习到规律的影响降低到最小，将线性回归获取到的y值，作为非线性激活函数sigmoid的输入，经过以下公式的运算获取到概率值。此时设定阈值0.5，我们认为小于0.5的同学会落选（红点），大于0.5的同学会当选三好学生。

如何评价逻辑回归的训练进度？

损失函数：（交叉熵函数）

L=-mult(Y(trur) * log§+(1-Y(true)*log(1-p)))

优点：

  1.能够计算出事物发生的概率
  2.能减少极端值的影响

缺点：只适合线性分布

补充：实际上，我们会采用更多的方法对逻辑回归的结果进行评估，比如精准度，混淆矩阵，f-score.

代码（待补充）