逻辑斯蒂回归,一个不是很恰当的理解就是在线性回归的基础上加了一个sigmoid函数。将其输出空间映射到0-1上面来。
然后映射后的这个值就代表他被分为类别1的概率。
话不多说。这个就是逻辑回归(线性回归加上sigmoid的)最基本的公式。
线性回归是用y = wx_i +b 去拟合y_i也就是训练一组参数w使得wx+b尽可能的去逼近,而逻辑回归中的对数几率回归(周志华老师的书上有介绍,这里就不啰嗦了)用在分类问题上,它的目标是如果x是正样本,那么最后训练出的w和
b应该使得这个y尽可能的逼近1,负样本则是逼近于0。
有了这两个公式。就可以用极大似然求解了。
极大似然的意思就是使训练样本中的数据出现的概率尽可能的大。
l(w,b)=∑i=1mlnp(yi|xi;w,b)
每个样本属于其真实标记的概率越大越好。
而
p(yi|xi;w,b)=p(y=0|xi;w,b)(1−yi)∗p(y=1|