假设：
矩阵层数为
l
l
l，所在层的node个数为
n
(
l
)
n^{(l)}
n(l)，X: input, Y: output，样本个数为
m
m
m，有以下的矩阵大小的计算方法：
W
[
l
]
.
s
h
a
p
e
=
(
n
[
l
]
,
n
[
l
−
1
]
)
W^{[l]}.shape = (n^{[l]}, n^{[l-1]})
W[l].shape=(n[l],n[l−1])
X
.
s
h
a
p
e
=
(
n
[
0
]
,
1
)
X.shape = (n^{[0]}, 1)
X.shape=(n[0],1)
Y
.
s
h
a
p
e
=
(
n
[
l
]
,
1
)
Y.shape = (n^{[l]}, 1)
Y.shape=(n[l],1), l取层数最大值
Z
[
l
]
=
W
[
l
]
A
[
l
−
1
]
+
b
[
l
]
Z^{[l]}= W^{[l]}A^{[l-1]} + b^{[l]}
Z[l]=W[l]A[l−1]+b[l]
A
[
l
]
=
a
c
t
i
v
a
t
i
o
n
(
Z
[
l
]
)
A^{[l]} = activation(Z^{[l]})
A[l]=activation(Z[l])
Z
[
l
]
.
s
h
a
p
e
=
A
[
l
]
.
s
h
a
p
e
=
(
n
[
l
]
,
m
)
Z^{[l]}.shape = A^{[l]}.shape = (n^{[l]}, m)
Z[l].shape=A[l].shape=(n[l],m)
b
[
l
]
.
s
h
a
p
e
=
(
n
[
l
]
,
1
)
b^{[l]}.shape = (n^{[l]}, 1)
b[l].shape=(n[l],1)
这篇博客探讨了深度学习中矩阵运算的原理，包括权重矩阵W[l]、偏置b[l]的形状计算，以及前向传播过程中Z[l]和A[l]的计算。内容涉及输入X和输出Y的维度，以及激活函数的应用，揭示了神经网络层数、节点数量与样本数量之间的关系。
扫一扫
1783
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
