逻辑回归
逻辑回归虽然叫回归,但是它是一个分类算法。
线性回归不适合分类问题
之前我们学习了用线性回归解决回归问题(预测房价),现在我们来看看分类问题。给定肿瘤的大小,预测肿瘤是良性的(y=0)还是恶性的(y=1)。我们还想用线性回归来解决这个分类问题。在下面这种情况下线性回归表现的还不错,y=0.5的时候刚好把两个数据集分隔开了。
但是在下面这种情况下效果就没有那么好了(只添加了一个数据点),在y=0.5的时候,把一部分恶性肿瘤归为良性肿瘤了:
逻辑回归函数
而且我们知道二分类问题的y只有两种取值,要么是0,要么是1。如果我们使用线性回归来预测的话,得到的结果有可能比1大很多,或者比0小很多,我们想要把值域固定在[0,1]之间,并且以y=0.5为分界线。所以我们使用Sigmoid函数(等同于Logistics函数)作为假设函数,函数表达式如下:
函数的图形如下:
下面的公式的前一项代表:给定x和θ,y=1的概率。因为y只能取0或1,所以给定x和θ时,y=1的概率和y=0的概率加起来等于1.