吴恩达之神经网络和深度学习-2.3logistic回归损失函数

Logistic回归：成本函数
为了训练参数w和b，我们需要定义一个成本函数。
概括：
$\hat{y}^{(i)}=\sigma (w^Tx^{(i)}+b)$其中$\sigma (z^{(i)})=\frac{1}{1+e^{-z^{(i)}}}$
给定$\left \{ (x^{(1)},y^{(1)}),...(x^{(m)},y^{(m)}) \right \}$我们想要$\hat{y}^{(i)}\approx y^{(i)}$
损失(误差)函数
损失函数衡量$\hat{y}^{(i)}$和$y^{(i)}$之间的差异，换句话说，损失函数计算单个训练样例的误差。
$L(\hat{y}^{(i)},y^{(i)})=\frac{1}{2}(\hat{y}^{(i)}-y^{(i)})^{2}$
$L(\hat{y}^{(i)},y^{(i)})=-(y^{(i)}log(\hat{y}^{(i)})+(1-y^{(i)})log(1-\hat{y}^{(i)}))$
如果$y^{(i)}=1:L(\hat{y}^{(i)},y^{(i)})=-(log(\hat{y}^{(i)}))$,其中$log(\hat{y}^{(i)})$和$\hat{y}^{(i)}$应该接近1
如果$y^{(i)}=0:L(\hat{y}^{(i)},y^{(i)})=-(log(1-\hat{y}^{(i)}))$,其中，$log(1-\hat{y}^{(i)})$和$\hat{y}^{(i)}$应该接近0
成本函数
成本函数是整个训练集损失函数的平均值。我们试着去找到参数w和b使得成本函数最小化。
$J(w,b)=\frac{1}{m}\sum_{i=1}^{m}L(\hat{y}^{(i)},y^{(i)})=-\frac{1}{m}\sum_{i=1}^{m}[(y^{(i)})log(\hat{y}^{(i)})+(1-y^{(i)})log(1-\hat{y}^{(i)})]$