深度学习记录--logistic回归损失函数

什么是logistic回归？

logistic回归是一个用于二分分类的算法，用于解决yes/no问题(个人理解)

二分分类引入：如何识别图片中的小猫？

图片由一些像素矩阵构成，将这些像素强度数值放入一个向量x中，并用nx来表示向量维数，从x到y过程经历一系列算法处理，得到y的预测值，预测图片中的小猫，输出yes/no

logistic回归

logistic回归用于刻画y的预测值，通过回归函数的形式

一开始想到线性回归函数，但是由于y取值范围在0-1之间，而线性回归函数可以出现负值或是大于1的值，故应该对回归函数进行激活(使用激活函数来修正)

ps.神经元的输出是a = g（wx + b），其中g是激活函数（sigmoid，tanh，ReLU，…）

吴恩达先生给出了sigmoid函数进行激活，但是为什么是sigmoid函数，具体原因请看这篇blog，解释的很详细logistic回归模型_logistic回归模型fpga-CSDN博客

logistic回归损失函数

如何刻画回归函数的拟合程度？使用loss函数来描述损失值，loss值越小，拟合程度越好，预测效果越好

但是一般的loss函数即误差平方对于梯度下降法不好用，故用新的loss函数(即交叉熵损失函数，如下图)

ps.关于交叉熵损失函数的推导，详见交叉熵损失函数原理详解-CSDN博客

当y=1时，loss函数转化，要使loss函数要尽可能小，则y预测值尽可能大(符合预测值趋近实际值)

当y=0时，loss函数转化，要使loss函数要尽可能小，则y预测值尽可能小(符合预测值趋近实际值)

loss函数是对于单个(xi，yi)的损失的刻画，即在单个训练样本中定义的，若要对全体训练样本进行表现的衡量，则给出cost函数来刻画

cost函数实际上是每个训练样本的loss函数值总和除以样本数量，即为loss函数值平均值，将loss函数表达式代入cost函数，可以得到cost函数的参数表达式