deeplearning.7logistic回归损失函数

损失函数

为了训练logistic回归的参数w和参数b，需要定义一个成本函数。下图y代表是logistic回归模型，
其中σ（z）是sigmoid激活函数

给（given）一堆样本，想（want）得到输出标签。

损失函数（loss）函数，衡量算法的运行情况，是针对单个样本来说的。例如可以定义为y^ 和y的差，或者他们1/2（差的平方）。实际意义是通过定义这个损失函数。来衡量预测输出值y^和实际值y有多接近。在logistic中，我们会定义一个不同的损失函数，起着与误差平方相似的作用。如下图所示

定义一个成本函数，衡量的是在全体训练样本上的表现，即J（w，b）函数，利用的是logistic里定义的两个参数。所以在训练的时候，要找到合适的参数w和b，让成本函数尽可能的小。