吴恩达课后习题——本人不理解的汇总

关于以下问题：

        谈谈一点个人理解，仅供参考。如果权重为0，误差反向传播供梯度更新的变量DZ将会由此计算为0，导致梯度无法更新。如果权重矩阵不随机，全部为某一数值，由于各种激活函数的参与(同一层的不同神经元激活函数不一样)，并不会出现所有的神经元学习情况一致导致丧失学习效果的情况；如果同一层神经元激活函数相同，它将无法破坏对称性，导致网络丧失学习效果。权重矩阵完全随机才能让网络具有更好的学习能力。

1  不知道说的是什么意思，等我会了再来解答  （第一次课，第三周的课后习题）

Logistic回归的权重w应该随机初始化，而不是全零，因为如果初始化为全零，那么逻辑回归将无法学习到有用的决策边界，因为它将无法“破坏对称性”，是正确的吗？

• 【 】True
• 【★】False

Logistic Regression doesn’t have a hidden layer. If you initialize the weights to zeros, the first example x fed in the logistic regression will output zero but the derivatives of the Logistic Regression depend on the input x (because there’s no hidden layer) which is not zero. So at the second iteration, the weights values follow x’s distribution and are different from each other if x is not a constant vector.


Logistic回归没有隐藏层。 如果将权重初始化为零，则Logistic回归中的第一个示例x将输出零，但Logistic回归的导数取决于不是零的输入x（因为没有隐藏层）。 因此，在第二次迭代中，如果x不是常量向量，则权值遵循x的分布并且彼此不同。