[神经网络与深度学习] Shallow Neural Networks习题解析

这是[神经网络与深度学习]课程第三周的习题，一共10道。

解答：

本课程中[i]表示第i层神经网络，(i)代表第i个样本，而下标i表示某层神经网络上第i个神经元。X是将训练样本横向排列而来，a代表激励输出向量。

所以答案是选项1、3、4、6

解答：

课程中讲到，tanh的输出在-1和1之间，数据具有归一化的分布，使得下一层的学习变得更加简单。

答案是True

解答：

计算Z的时候需要前一层神经网络的激励输出A，其它都使用本层的参数。

答案是选项1

解答：

Sigmoid输出一个介于0和1之间的值，是二元分类的一个非常好的选择。如果输出小于0.5，则可以将其归类为0，如果输出大于0.5，则归类为1。

答案是选项3

解答：

代码中使用了keepdims = True确保A.shape为(4, 1)，而不是(4, )。

答案是选项4

解答：

神经网络将W参数初始化为0会产生对称问题，也就是1所描述的，所以答案为选项1。

解答：

逻辑回归问题的W和b参数通常初始化为0，它不会引起神经网络的对称问题，其原因在于：
逻辑回归没有隐藏层。如果将权重初始化为零，则逻辑回归中的第一个示例x将输出零，但逻辑回归的导数取决于不是零的输入x（因为没有隐藏层）。因此，在第二次迭代中，如果x不是常量向量，则权值遵循x的分布并且彼此不同。

答案是False

解答：

tanh和sigmoid一样，对于较大的值曲线变得平坦，这导致其梯度接近于零，从而梯度下降速度变慢，所以W通常初始化为0附近的一个很小的数。

答案是选项3

解答：

记住W[l].shape=(n[l], n[l-1]), b[l].shape=(n[l], 1)这个公式，不难确定答案是选项2、3、5、8

解答：

Z和A的shape值一样，都是(n[l], m)，所以答案是选项1。

相关习题解析：

1. [神经网络与深度学习] Introduction to deep learning习题解析
2. [神经网络与深度学习] Neural Network Basics习题解析