神经网络与深度学习——神经网络基础——logistic回归损失函数

为了训练参数𝑤和𝑏，这里定义两个函数

首先回顾一下logistic回归函数

损失函数或误差函数：

损失函数针对单个训练样例计算误差，表示的是预测和期望之间的差异

训练中我们不用平方差误差函数，因为这种情况下可能是梯度下降法陷入一个局部优化解，我们通常用的是上图中的误差函数，这样会使梯度下降法得到全局优化

成本函数：

成本函数是整个训练集损失函数的平均值。我们认为使整体成本函数最小化的参数w和b就是最优的