逻辑回归是一个分类器,其基本思想可以概括为:对于一个二分类(0~1)问题,若P(Y=1/X)>0.5则归为1类,若P(Y=1/X)<0.5,则归为0类。
一、模型概述
1、Sigmoid函数
为了具象化前文的基本思想,这里介绍Sigmoid函数:
函数图像如下:
红色的线条,即x=0处将Sigmoid曲线分成了两部分:当 x < 0,y < 0.5 ;
当x > 0时,y > 0.5 。
实际分类问题中,往往根据多个预测变量来对响应变量进行分类。因此Sigmoid函数要与一个多元线性函数进行复合,才能应用于逻辑回归。
2、逻辑斯谛模型
其中θx=θ1x1+θ2x2+……+θnxn 是一个多元线性模型。
上式可转化为:
公式左侧称为发生比(odd)。当p(X)接近于0时,发生比就趋近于0;当p(X)接近于1时,发生比就趋近于∞。
两边取对数有: