逻辑回归(logistic regression)
分类(Classification)
分类问题举例:
邮件:垃圾邮件/非垃圾邮件?
在线交易:是否欺诈(是/否)?
肿瘤:恶性/良性?
以上问题可以称之为二分类问题,我们将因变量(dependant variable)可能属于的两个类分别称为负向类(negative class)和正向类(positive class),则因变量yϵ{0,1},其中0表示负向类,1表示正向类。
对于多分类问题,可以如下定义因变量y:y∈{0,1,2,3,...,n}
如果分类器用的是回归模型,并且已经训练好了一个模型,可以设置一个阈值:
如果hθ(x)≥0.5,则预测y=1,既y属于正例;
如果hθ(x)<0.5,则预测y=0,既y属于负例;
但是对于二分类问题来说,线性回归模型的Hypothesis输出值hθ(x)可以大于1也可以小于0。这个时候我们引出逻辑回归,逻辑回归的Hypothesis输出介于0与1之间,即:
0≤hθ(x)≤1
上图显示把线性回归用到分类问题中不是一个好主意
假说表示(Hypothesis Representation)
上一节谈到,我们需要将Hypothesis的输出界定在0和1之间,既:0≤hθ(x)≤1
但是线性回归无法做到,这里我们引入一个函数g,