Logistic回归是一种最常见的二分类算法,它利用已知样本对模型进行参数估计,属于监督算法。
一、 logisitic 函数
形如的函数称为logistic函数,也称sigmoid函数(S形函数), 其函数图像如下图所示:
logistic函数具有如下性质:
2) 对称性:关于点(0,0.5)对称;
二、 Logistic回归模型
Logistic回归的预测函数(hypotheses)为:
以上两式可以合并为如下形式:
它的极大似然方程为:
化为对数形式:
对求偏导:
这看上去与LMS的迭代公式类似,但是不同,因此是两个不同的迭代公式。
最后将求出的带入
,输入新的样本会得到
的值,如果
,那么
,该样本属于标签1的概率更大,将该样本归为标签1所在的类;反之,若
,该样本属于标签0的概率更大,则将该样本归为标签0所在的类;