机器学习-逻辑回归(python3代码实现)

逻辑回归（Logistic regression）

哈尔滨工程大学—537

算法原理

一、sigmoid函数

线性回归是将一组输入映射为一个输出值：
$h_\theta(x)=\theta_0+\theta_1x_1+\theta_1x_2$，其中$\theta_0$是偏置项。
我们的目的是要找到最合适的$\theta_0，\theta_1，\theta_2，$使对于每一组输入的特征向量$x_1，x_2$，都能使上述函数的函数值尽可能的接近真实值。

那么逻辑回归就是在此基础上再把线性回归得到的函数值映射为一个0到1之间的概率值，如果这个概率值特别大，就说明该样本属于该类别。

那么如何能将一个$(-\infty,+\infty)$之间的任意数值映射为一个$(0,1)$之间的函数值，这里就引入了sigmoid函数：

$g(z)=\frac1{1+e^{-z}}$， 函数图像如下。

于是每一组的$\theta_0,\theta_1,\theta_2$和$1,x_1,x_2$结合之后的值都可以作为sigmoid函数的自变量，最后经sigmoid函数映射出一个$(0,1)$区间的概率值。

于是我们可以将其整合为一个函数：
hθ(x)=g(θTx)=11+e−θT