DeaplearningAI01weak4
深层神经网络
对于deaplearning而言，隐藏层的数目越多，表明神经网络越深。logistic regression是没有隐藏层的。
神经网络每一层参数的维度
神经网络共有
L
L
L 层，
n
[
l
]
n^{[l]}
n[l] 表示每一层节点的个数，用
n
[
0
]
n^{[0]}
n[0] 表示输入数据的维度，那么
W
[
l
]
W^{[l]}
W[l] 的维度为
(
n
[
l
]
,
n
[
l
−
1
]
)
(n^{[l]}, n^{[l-1]})
(n[l],n[l−1])，
b
[
l
]
b^{[l]}
b[l] 的维度为
(
n
[
l
]
,
1
)
(n^{[l]},1)
(n[l],1)。
d
W
[
l
]
dW^{[l]}
dW[l] 的维度与
W
[
l
]
W^{[l]}
W[l] 一致，
d
b
[
l
]
db^{[l]}
db[l] 的维度与
b
[
l
]
b^{[l]}
b[l] 一致。
Z
[
l
]
Z^{[l]}
Z[l] 和
A
[
l
]
A^{[l]}
A[l] 的维度一致，均为
(
n
[
l
]
,
1
)
(n^{[l]}, 1)
(n[l],1)，若输入为
m
m
m 个，那么
Z
[
l
]
Z^{[l]}
Z[l] 和
A
[
l
]
A^{[l]}
A[l] 为
(
n
[
l
]
,
m
)
(n^{[l]}, m)
(n[l],m)。loss function的维度为
(
1
,
1
)
(1, 1)
(1,1)
为什么要使用深层神经网络
- 深层神经网络中，层数越靠后的隐藏层一个节点所包含的信息越多，可以更好的提取信息。
- 对比浅层神经网络， 使用深层神经网络可以减少计算function的数目。
- 深层神经网络可以完成浅层神经网络不能完成的任务。
Parameters 和 Hyper parameter
简单的来说神经网络本身的权重称为parameter，可以控制神经网络权重变化的参数称为hyper parameter。
parameter：
W
W
W，
b
b
b
hyper parameter: learning rate，#iterations， #hidden layers L
由于这周内容基本上是上周内容的延伸，所以总结比较少
365
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
