Logistic回归：成本函数

为了训练$w$和$b$ ，需要定义成本函数对其取值的好坏进行评估。

概括来讲：

$\hat{y}^{(i)}=\sigma(w^Tx^{(i)}+b),其中\sigma(z^{(i)})=\dfrac{1}{1+e^{-x^{(i)}}}$，其中$x^{(i)}$为第i个训练样本
已知${(x^{(1)},y^{(1)} ),...,(x^{(m)},y^{(m)} )}$，希望$\hat{y}^{(i)}\approx y^{(i)}$

损失函数：

损失函数用来估计预测值（$\hat y^{(i)}$）与期望输出值（$y^{(i)}$）之间的差异。也就是说，损失函数针对一则训练样例计算误差。
$L(\hat y^{(i)},y^{(i)})=\frac {1}{2}(\hat y^{(i)}-y^{(i)})^2$
$L(\hat y^{(i)},y^{(i)})=-(y^{(i)}log(\hat y^{(i)})+(1-y^{(i)})log(1-\hat y^{(i)}))$

• 当$y^{(i)}=1$时，$L(\hat y^{(i)},y^{(i)})=-log(\hat y^{(i)})$，其中$log(\hat y^{(i)})$和$\hat y^{(i)}$ 应当接近于1
• 当$y^{(i)}=0$时，$L(\hat y^{(i)},y^{(i)})=-log(1-\hat y^{(i)})$，其中$log(1-\hat y^{(i)})$和$\hat y^{(i)}$ 应当接近于0

成本函数:

成本函数是损失函数在整个训练集上的平均。通过全局最小化成本函数，可以确定参数$w$和$b$ 的值。
$J(w,b)=\frac {1}{m}\sum_{i=1}^{m}L(\hat y^{(i)},y^{(i)})=-\frac {1}{m}\sum_{i=1}^{m}y^{(i)}[log(\hat y^{(i)})+(1-y^{(i)})log(1-\hat y^{(i)}))]$