在线性拟合的基础上,我们实现logistic regression。
如前所述,样本集是
{
x1,y1},{
x2,y2},...,{
xn,yn}[1]
其中, xi=[1,xi,1,xi,2,xi,3,...,xi,k]T ,且 yi∈(0,1) 。注意,这里对 yi 有值上的要求,必须如此,如果值不再这个区间,要以归一化的方式调整到这个区间。对于分类问题,则 yi 的取值或者是0,或者是1,也就是 yi∈{ 0,1} 。
当然,从严格的意义上说,logistic regression拟合后, yi 的值只能无限地逼近0和1,而不能真正达到0和1,但在处理实际问题上,可以设定成形如 ifyi>0.5thenyi=1 和 ifyi<=0.5thenyi=0 解决。
Logistic regression的拟合形式如下:
yi=f(zi)[2]
zi=Wxi[3]
其中, f(z)=11+e−z[4] ,也就是Logistic函数。
根据公式 [2] 和公式 [3] ,则:
yi=f(Wxi)[4]
那么,如果用公式 [4] 拟合 xi 和 yi 的关系,需要求解 W ,使得在公式
Loss=12∑i=1n(yi−f(Wxi)