Sklearn 与 TensorFlow 机器学习实用指南——第十一章习题答案

1. 使用 He 初始化随机选择权重，是否可以将所有权重初始化为相同的值？
   不可以，所有重量都应该独立采样; 他们不应该都具有相同的初始权重。 随机抽样权重的一个重要目标是破坏对称：如果所有权重具有相同的初始值，即使该值不是零，那么对称性也不会被破坏（即，给定层中的所有神经元都是等价的），并且反向传播将无法打破它。也就是说，这意味着任何给定层中的所有神经元总是具有相同的权重。这就像每层只有一个神经元，而且要慢得多。 这种配置几乎不可能收敛到一个好的解决方案。
2. 可以将偏置初始化为 0 吗？
   完全可以，有些人喜欢像权重一样初始化它们，这也没关系; 它并没有太大的区别。
3. 说出 ELU 激活功能与 ReLU 相比的三个优点。
   它可以用负值，因此任意图层中神经元的平均输出通常比使用ReLU激活函数（从不输出负值）时更接近0。 这有助于缓解消失渐变问题。
对于z<0，它有一个非0的梯度，可避免可能影响ReLU神经元死亡问题。
它在任何地方都是平滑的，而ReLU的斜率在z = 0时突然从0跳到1.这种突然的变化会减慢梯度下降，因为它会在z = 0附近反弹。
4. 在哪些情况下，您想要使用以下每个激活函数：ELU，leaky ReLU（及其变体），ReLU，tanh，logistic 以及 softmax？
   ELU激活功能是一个很好的默认值。如果需要尽可能快地使用神经网络，则可以使用其中一个泄漏的ReLU变体（例如，使用默认的超参数值进行简单的泄漏ReLU）。尽管事实上它们通常优于ELU和泄漏的ReLU，但是RELU激活功能的简单性使其成为许多人的首选选项。但是，在某些情况下，ReLU激活功能输出精确为零的能力可能很有用（例如，参见第15章）。如果您需要输出介于-1和1之间的数字，则双曲正切（tanh）在输出图层中非常有用，但是现在它在隐藏图层中的使用不多。当您需要估计概率时，逻辑激活函数在输出层中也很有用（例如，用于二进制分类），但在隐藏层中也很少使用（有例外-例如，对于变分自动编码器的编码层;请参阅第15章）。最后，softmax激活函数在输出层中用于输出互斥类的概率，但除此之外，它很少（如果曾经）在隐藏层中使用。
5. 使用MomentumOptimizer时，如果将momentum超参数设置得太接近 1（例如，0.99999），会发生什么情况？
   如果你在使用MomentumOptimizer时将动量超参数设置得太接近1（例如，0.99999），那么算法可能会获得很大的速度，希望大致接近全局最小值，但是它会直接超过最小值，由于 它的势头。 然后它会减速然后回来，再次加速，再次超调，等等。在收敛之前，它可能会以这种方式多次振荡，因此总体而言，收敛时间要比使用较小的动量值需要更长的时间。
6. 请列举您可以生成稀疏模型的三种方法。
   1、正常训练模型，然后将权重较小的设为零;2、在训练期间应用l1正则化；3、使用TensorFlow的FTRLOptimizer类将l1正则化与双重平均相结合
7. dropout 是否会减慢训练？ 它是否会减慢推断（即预测新的实例）？
   是的，dropout确实会减慢训练速度，一般大约是两倍。但是，它对预测没有影响，因为它仅在训练期间打开。

编程题答案查看链接地址