logistic回归 目的、方程、损失函数

logistic回归多用于二分类问题。

目的：给出x，当x满足条件时，y=1的概率是多少。

即
$$\begin{gathered} \hat{y}=P(y=1|x)，x\in R^{nx} \\ \hat{y}\in [0,1] \end{gathered}$$

方程：$\hat{y}=\sigma ({\omega }^{T}x+b)$

参数：$\omega \in R^{nx}、b\in R$

1. 在线性规划中输出为
   $$\hat{y}={\omega }^{T}x+b$$
   但是$\hat{y}$可能为大于1的数或负数，这样的概率无意义。

2. 因此在logistic回归中，输出变为
   $$\begin{gathered} \hat{y}=\sigma ({\omega }^{T}x+b) \\ =\sigma (z) \\ {\omega }^{T}x+b=z \end{gathered}$$
   其中$\sigma ()$即为sigmoid函数，如下所示。
   

损失函数：$J(\omega ,b)=\frac{1}{m}{\sum }_{i=1}^{m}L({\hat{y}}^{(i)},y^{(i)})$

设$L(\hat{y},y)$为单个样本的误差函数，越小越好。

---

我们常见的衡量误差的函数一般是误差平方，即
$$L(\hat{y},y)=\frac{1}{2}(\hat{y}-y{)}^2$$
但将其作为损失函数不便于用梯度下降法求最优解，因为为非凸函数。

---

因此，在logistic回归中，我们定义损失函数如下，起着与误差平方相似的作用
$$L(\hat{y},y)=-(ylog\hat{y}+（1-y）log(1-\hat{y})$$
当y=1时，$L(\hat{y},y)=-log\hat{y}$，想要让损失函数尽可能小，则需使$\hat{y}$尽可能大，接近1

当y=0时，$L(\hat{y},y)=-log(1-\hat{y})$，想要让损失函数尽可能小，则需使$\hat{y}$尽可能小，接近0

总体的损失函数即为
$$J(\omega ,b)=\frac{1}{m}\sum _{i=1}^{m}L({\hat{y}}^{(i)},y^{(i)})$$

logistic的训练过程，即通过不断的训练找到参数$\omega 、b$，使得损失函数最小