例子是之前博客"通过简单神经网络识别猫图片"的例子,现在改为多层神经网络结构
之前博客地址:https://blog.csdn.net/qq_33873431/article/details/101672423
参数维度
W - 权重矩阵,维度为(n[L],n[L−1])
b - 偏向量,维度为(n[L],1)
A - 激活值的维度为(n[L],m)
前向传播函数
一共L层,带有RELU的linear_activation_forward)L-1次,然后用一个层为SIGMOID做二分类
公式为:
激活函数公式:
Sigmoid:
ReLU:
计算成本函数
反向传播
使用来计算三个输出,公式:
对于激活函数,求导公式:
最后一层为Sigmoid,成本函数L先对a求导:
# python代码
dAL = - (np.divide(Y, AL) - np.divide(1 - Y, 1 - AL))