逻辑回归
之前介绍的线性回归主要用于回归预测,而逻辑回归主要用于分类任务。逻辑回归是在线性回归的基础上,加上了Sigmoid函数。
线性回归的模型是:
也可以写作:
如果需要预测的值是0-1分布的,那么可以引入一个函数,将线性方程z变为g(z),让g(z)的值在(0,1)之间,当g(z)的值接近0时,样本的类别判为类别0;当g(z)的值接近1时,样本的类别判为类别1.
这个函数即为Sigmoid函数。其值域在(0,1)之间,定义域是负无穷到正无穷。
引入Sigmoid函数后,得到了逻辑回归模型的一般形式:
此时,y的取值都在[0,1]之间,因此y和1-y相加必然为1。如果我们令y除以1-y可以得到形似几率(odds)的y/(1-y) ,可看作类别为1的与类别为0的概率比。线性回归的值也就是对数几率。
y(x)的形似几率取对数的本质其实就是我们的线性回归z,我们实际上是在对线性回归模型的预测结果取对数几率,来让其结果无限逼近0和1。
线性回归的任务:通过求解参数构建预测函数z,并希望预测函数z能够尽量拟合数据,
逻辑回归的核心任务也是类似的:求解参数来构建一个能够尽量拟合数据的预测函数y(x),并通过向预测函数中输入特征矩阵来获取相应的标签值y。
y(x)的并非像贝叶斯,输出的是某一类别的概率,它只是(0,1)之间的值,人们近似认为它是概率。一般以0.5为分界点。
逻辑回归的损失函数
二元逻辑回归的标签服从伯努利分布(即0-1分布),因此我们可以将一个特征向量为x,参数为