神经网络中,前向传播和反向传播 矩阵维度的问题

以1个输入层、1个隐藏层和1个输出层为例,分析编程中变量的维度。


初始化:
w1的维度:    隐藏层节点个数 *特征个数  
b1的维度:    1 * 隐藏层节点个数     
w2的维度:    输出层节点个数 * 隐藏层节点个数   
b2的维度:    1 * 输出层节点个数     

前向传播: 
Train_data             特征数量 * 样本数量              
z1 = w1 * Train_data    隐藏层节点个数 * 样本数量
a1 : z1                隐藏层节点个数* 样本数量
z2 = w2 * a1           输出层节点个数 * 样本数量       
a2 : z2                输出层节点个数 * 样本数量
y : a2                 输出层节点个数 * 样本数量

z1 = w1 * train_data + b1; 
a1 = sigmoid(z1);   
z2 = w2 * a1 + b2;
a2 = sigmoid(z2);   


反向传播: 
da2 = dAL               输出层节点个数* 样本数量  如果cost function等于y,则是这种情况
s2 = 1/(1+np.exp(-z2))    输出层节点个数* 样本数量    
dz2 = da2 .* s2 .* (1-s2)   输出层节点个数* 样本数量  不是点积,是按相同位置相乘。  s2 .* (1-s2)为sigmoid的导数
dw2 &#
  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值