机器学习之神经网络反向传播算法（吴恩达机器学习）

第五周—神经网络、反向传播算法和随机初始化

1.神经网络的损失函数

神经网络模型中损失函数/代价函数和之前的逻辑回归模型中的损失函数有什么区别？先回顾下正则化的逻辑回归模型：
损失函数：

梯度下降算法：

注意：这里样本点有m个，特征参数θ有n个
损失函数的核心就是求m个样本点的总误差，然后除以m，得到平均误差，即平均损失。那么在神经网络中的损失函数公式是怎样？其实，思想都一样，都是求平均损失，只是表现方式看上去复杂了一些。前半部分很好理解，就是将每个样本点的k类的交叉熵损失相加求期望，关键在于后面的正则化项，看上去不太好理解。
神经网络模型的损失函数公式如下：