逻辑回归(Logistic Regression)原理及Python实现

前面有讲过线性回归，但是很多非线性问题不能用简单的线性回归来分类。这时需要用到逻辑回归，逻辑回归是一种非线性的回归。说到逻辑回归一定要说到概率问题，概率(probability)就是对一件事发生的可能性的衡量。一个事件的概率$0\leq P \leq 1$, 当事件必然发生时概率为1， 当事件为不可能事件时概率为0. 条件概率的表达式为：$P(A\mid B)=\frac{P(A\bigcap B)}{P(B)}$，表达式的意思在条件B下，条件A发生的可能性。
逻辑回归的基本模型为：

$$Z=\theta_0x_0+\theta_1x_1+\theta_2x_2+...+\theta_nx_n$$
用向量的形式可表示为：
$$Z=\Theta^TX$$
为了出来二值数据，需要引入sigmoid函数时曲线平滑化：
$$g(Z)=\frac{1}{1+e^{-z}}$$
图像如下：

从图像中可以看出这个函数的性质：当Z=0时，g(Z)=1; 当Z趋近于正无穷时，g(Z)趋近于1；当Z趋近于负无穷时，g(Z)趋近于0.
将逻辑回归基本模型的向量表示形式带入到sigmoid函数中，可以得到预测函数： $$h_\theta(X)=g(\Theta^TX)=\frac{1}{1+e^{-\Theta^TX}}$$
用概率来表示
(y=1):
$$h_\theta(X)=P(y=1\mid X; \Theta)$$
(y=0):
$$1-h_\theta(X)=P(y=0\mid X; \Theta)$$
模型参数的选取需要使用代价函数(cost function)，在线性回归中我们使用sum of squares的方法来描述误差，表达式为：