逻辑回归(Logistic Regression)

逻辑回归(Logistic Regression)

什么是逻辑回归:

　　逻辑回归(Logistic Regression)是一种基于概率的模式识别算法,虽然名字中带"回归",但实际上是一种分类方法,在实际应用中,逻辑回归可以说是应用最广泛的机器学习算法之一

回归问题怎么解决分类问题?

　　将样本的特征和样本发生的概率联系起来,而概率是一个数.换句话说,我预测的是这个样本发生的概率是多少,所以可以管它叫做回归问题

 

在许多机器学习算法中,我们都是在追求这样的一个函数

　　

 例如我们希望预测一个学生的成绩y,将现有数据x输入模型 f(x) 中,便可以得到一个预测成绩y

但是在逻辑回归中,我们得到的y的值本质是一个概率值p

　 　　

在得到概率值p之后根据概率值来进行分类

　　

当然了这个1和0在不同情况下可能有不同的含义,比如0可能代表恶性肿瘤患者,1代表良性肿瘤患者

逻辑回归既可以看做是回归算法，也可以看做是分类算法,通常作为分类算法用，只可以解决二分类问题,不过我们可以使用一些其他的技巧(OvO,OvR),使其支持解决多分类问题

 

下面我们来看一下逻辑回归使用什么样的方法来得到一个事件发生的概率的值

 在线性回归中,我们使用

　　

来计算,要注意,因为Θ0的存在,所以x用小的Xb来表示,就是每来一个样本,前面还还要再加一个1,这个1和Θ0相乘得到的是截距,但是不管怎样,这种情况下,y的值域是(-infinity, +infinity)

而对于概率来讲,它有一个限定,其值域为[0,1]

所以我们如果直接使用线性回归的方式,去看能不能找到一组Θ来与特征x相乘之后得到的y值就来表达这个事件发生的概率呢?

其实单单从应用的角度来说,可以这么做,但是这么做不够好,就是因为概率有值域的限制,而使用线性回归得到的结果则没有这个限制

为此,我们有一个很简单的解决方案:

我们将线性回归得到的结果再作为一个特征值传入一个新的函数,经过转换,将其转换成一个值域在[0,1]之间的值

　　

Sigmoid函数:

　　

将函数绘制出来:

　　

其最左端趋近于0,最右端趋近于1,其值域在(0,1),这正是我们所需要的性质

当传入的参数 t > 0 时, p > 0.5, t < 0 时, p < 0.5,分界点是 t = 0

 

使用Sigmoid函数后: