1 模型描述
1.1 分类问题
在分类问题中,我们要预测的变量y是离散的值,即判断其结果是否属于某一个类。在二分类问题中,我们将因变量可能属于的两个类分别称为负向类(y=0)和正向类(y=1)。当我们使用线性回归来解决分类时,我们会设定一个阈值0.5,当y>0.5时,我们认为其属于正向类,反之,属于反向类。但是如果使用线性回归,那么假设函数的输出值可能远大于1,或者远小于0,此时,我们就需要使用逻辑回归算法来使输出值永远在0 到1 之间。
1.2 假设函数
逻辑回归的假设函数为 h Θ ( x ) = g ( X θ ) h _ { \Theta } ( x ) = g \left( X \theta\right) hΘ(x)=g(Xθ)。
其中g代表逻辑函数(logistic function),也称Sigmoid function,其公式为 g ( z ) = 1 1 + e − z g ( z ) = \frac { 1 } { 1 + e ^ { - z } } g(z)=1+e−z1,图像如下图。
合起来之后我们得到逻辑回归模型: h θ ( x ) = 1 1 + e − X Θ h _ { \theta } ( x ) = \frac { 1 } { 1 + e ^ { - X \Theta } } hθ(x)=1+e−XΘ1
h θ ( x ) h _ { \theta } ( x ) hθ(x)的作用是,对于给定的输入变量,根据参数计算输出结果=1(正向类)的可能性。即 h θ ( x ) = P ( y = 1 ∣ x ; θ ) h _ { \theta } ( x ) = P ( y = 1 | x ; \theta ) hθ(x)=P(y=1∣x;θ)
1.3 判定边界
在逻辑回归中,我们预测:当 h θ ( x ) ≥ 0.5 h _ { \theta } ( x )\geq0.5 hθ(x)≥0.5 时,预测 y = 1 y=1 y=1;当 h θ ( x ) < 0.5 h _ { \theta } ( x )<0.5 hθ(x)<0.5 时,预测 y = 0 y=0 y=0。由 g ( z ) = 1 1 + e − z g ( z ) = \frac { 1 } { 1 + e ^ { - z } } g(z)=1+e−z1且 z = X Θ z=X\Theta z=XΘ可以得到,当 X Θ ≥ 0 X\Theta \geq 0 XΘ≥0时,预测 y = 1 y=1 y=1;当 X Θ < 0 X\Theta < 0 XΘ<0时,预测 y = 0 y=0 y=0。
假设我们有一个模型