机器学习之逻辑回归

在上篇文章我们介绍了线性回归，这篇文章我们再来介绍一下逻辑回归。
逻辑回归与线性回归的相似之处是他们都具有ax + b，但不同之处是线性回归直接将ax + b 当作因变量，因变量的取值为范围是[-∞, +∞]而在逻辑回归中，ax + b只是中间变量，通过函数S将ax + b对应到一个隐状态p，p = S(ax + b)，然后根据p与1- p的大小决定因变量的值，这里的函数S为Sigmoid函数，表达式为

z = ax + b,得到逻辑回归的最终模型为
$$y1=\frac{1}{1+e^{-(ax+b)}}$$
通过图像和函数都可以发现通过函数S，最终我们将值限制在[0,1]，似乎因变量的值已经确定了。不，还没完，我们还要确定一个阈值，比如0.6，不过我们一般取得是0.5，如果函数大于这个阈值，那么对应的因变量的值为1，小于阈值就取0，等于阈值的话需要人为规定取1还是0。
逻辑回归的损失函数为
$$J(\theta )=-\frac{1}{m}[\sum _{i=1}^m(y^{(i)}\log h_{\theta }(x^{(i)})+(1-y^{(i)})\log (1-h_{\theta }(x^{(i)}))]$$
公式与交叉熵有关，具体推导过程可以点击 这里.
其中
m：训练样本的个数；
hθ(x)：用参数θ和x预测出来的y值；
y：原训练样本中的y值，也就是标准答案
上角标(i)：第i个样本
经过计算，我们可以找出最合适的直线，将散点分为两类。