前面有讲过线性回归,但是很多非线性问题不能用简单的线性回归来分类。这时需要用到逻辑回归,逻辑回归是一种非线性的回归。说到逻辑回归一定要说到概率问题,概率(probability)就是对一件事发生的可能性的衡量。一个事件的概率 0≤P≤1 , 当事件必然发生时概率为1, 当事件为不可能事件时概率为0. 条件概率的表达式为: P(A∣B)=P(A⋂B)P(B) ,表达式的意思在条件B下,条件A发生的可能性。
逻辑回归的基本模型为:
Z=θ0x0+θ1x1+θ2x2+...+θnxn
用向量的形式可表示为:
Z=ΘTX
为了出来二值数据,需要引入sigmoid函数时曲线平滑化:
g(Z)=11+e−z
图像如下:
从图像中可以看出这个函数的性质:当Z=0时,g(Z)=1; 当Z趋近于正无穷时,g(Z)趋近于1;当Z趋近于负无穷时,g(Z)趋近于0.
将逻辑回归基本模型的向量表示形式带入到sigmoid函数中,可以得到预测函数:
hθ(X)=g(ΘTX)=11+e−ΘTX
用概率来表示
(y=1):
hθ(X)=P(y=1∣X;Θ)
(y=0):
1−hθ(X)=P(y=0∣X;Θ)
模型参数的选取需要使用代价函数(cost function),在线性回归中我们使用sum of squares的方法来描述误差,表达式为: