学习神经网络笔记之--激活函数、损失函数、向前传播、向后传播

激活函数：，y‘的结果表示一个概率，取值在[0，1]，由于w'x+b的值可能很大，也可能为负值，所以需要一个函数将其区间映射到[0，1]，此映射函数，我们称为激活函数。

损失函数：损失函数又叫做误差函数，用来衡量算法的运行情况，Loss function:L(y',y).损失函数是在单个训练样本中定义的，它衡量的是算法在单个训练样本中表现如何，为了衡量算法在全部训练样本上的表现如何，我们需要定义一个算法的代价函数，算法的代价函数是对个样本的损失函数求和然后除以m：。损失函数只适用于像这样的单个训练样本，而代价函数是参数的总代价，所以在训练逻辑回归模型时候，我们需要找到合适w的和b，来让代价函数 J的总代价降到最低。

向前转播：计算预测值，同时计算损失函数的值

向后传播：为了使损失函数的值最小化，通过计算导数找到w和b的最佳参