逻辑回归 Logistic Regression
定义:逻辑回归 = 线性回归 + sigmoid
提出:三好学生问题
我们对于好学生的定义可以从学习、体育、道德三个评价指标入手。
最常见的就是将学习好坏做完评价指标,对于学习的比重设置为a1,但是学习不能单纯的做完三好学生的唯一标准,这个时候可以再加上影响因子B,使用一个线性方程来表示三好学生的选择。
Y=a1X + B 就是图片中的函数表达式:
横坐标代表学生的成绩score,纵坐标代表三好学生的评估值,我们使用四个已知样本就可以确定参数a1和B,这样后面的三个绿色的点代表着,可以通过后三个人的成绩,代入到前四个人学习到的规律中以判断待测学生,三号学生的评估值。
但是我们的数据不可能都是按照我们的心愿来的,总有一些错误的数据,或者叫脏数据混入到我们的样本中,这样就会导致我们学习到错误的规律,那么如何解决这个问题呢?这也是线性回归的问题。
如果我们可以迁就那几个离群的错误点,就可能导致我们学习的规律不能准确的反应大多数样本的情况,并且误差很大,此时我们会考虑对原有的线性函数做一个非线性变化,将他的y值映射到0-1之间的概率区间,这样我们就尽可能的将误差点对学习到规律的影响降低到最小,将线性回归获取到的y值,作为非线性激活函数sigmoid的输入,经过以下公式的运算获取到概率值。此时设定阈值0.5,我们认为小于0.5的同学会落选(红点),大于0.5的同学会当选三好学生。
如何评价逻辑回归的训练进度?
损失函数:(交叉熵函数)
L=-mult(Y(trur) * log§+(1-Y(true)*log(1-p)))
优点:
1.能够计算出事物发生的概率
2.能减少极端值的影响
缺点:只适合线性分布
补充:实际上,我们会采用更多的方法对逻辑回归的结果进行评估,比如精准度,混淆矩阵,f-score.