ANN总结

课后习题
为什么通常最好使用逻辑回归分类器而不是经典的感知器（及使用感知器训练算法训练的单层阈值逻辑单元）？如何调整感知器以使其等同于逻辑回归分类器

• 经典的感知器只有在数据集是线性可分的情况下才会收敛，并且不能估计分类的概率。相反，逻辑回归分类器，即使在数据集不是线性可分的情况下，也可以很好的收敛，而且还能输出分类的概率。如果你将感知器的激活函数修改为逻辑激活函数（或者如果有多个神经元的时候，采用softmax激活函数），然后使用梯度下降训练它（或者是成本函数最小化的一些其他优化算法，通常是交叉熵法），那么它就会变成一个逻辑回归分类器了。

为什么逻辑激活函数是训练第一个MLP的关键要素？

• 因为它的导数总是非零的，所以梯度下降总是可以持续的。当激活功能是一个阶梯函数时，渐变下降就不能再持续了，因为这时候根本没有斜率。

列举三种常用的激活函数。

• 阶跃函数、逻辑函数、双曲正切、线性整流（ReLU）

什么是反向传播？他如何工作？反向传播和反向模式的autodiff有什么区别？

• 反向传播是一种用于训练人工神经网络的技术。他首先计算关于每个模型参数（所有的权重和偏差）的成本函数的梯度，然后使用这些梯度执行梯度下降。这种反向传播步骤通常执行数千次或数百万次，并需要多个训练批次，直到模型参数收敛到最小化成本函数。到此为止。
• 反向模式autodiff为现在计算图上正向执行一次，计算当前训练批次的每个节点的值，然后反向执行一次，一次性计算所有梯度。
• 反向传播是指使用多个反向传播技术步骤来训练人工神经网络的全部过程，每个步骤计算梯度并使用它们执行梯度下降过程。相反反向模式只是一种有效的计算梯度的技术，只是恰好被反向传播使用而已。

如果要将电子邮件分类为垃圾邮件或正常邮件，你需要在输出层中有多少个神经元?你应该在输出层中使用什么激活函数？相反如果你想解决MNIST，则在输出层中需要多少个神经元，应该使用哪种激活函数？

• 要将电子邮件分类为垃圾邮件和正常邮件，你只需要在神经网络的输入层中使用一个神经元，例如指出电子邮件是垃圾邮件的概率。估算概率时，通常会在输出层使用逻辑激活函数。如果你想要解决MNIST问题,则需要输入层中有十个神经元，并且必须用可以处理多个分类的softmax激活函数替换逻辑函数，为每个分类输出一个概率。如果你想让你的神经网络预测房价，则需要一个输出神经元，而在输出层则无需使用激活函数。

你是否列出可以转基本MLP中进行调整的所有超参数?如果MLP过拟合训练数据，你如何调整这些超参数来解决问题？

• 隐藏层的数量、每个隐藏层中的神经元的数量，以及每一个隐藏层和输出层中使用的激活函数。一般情况下，ReLU激活函数是隐藏层的一个很好的默认值。对于输出层，通常需要二元分类的逻辑激活函数、多类分类的softmax激活函数，在做回归时，则无需任何激活函数。
• 如果过拟合训练数据，可以尝试减少隐藏层的数量，并减少每个隐藏层的神经元数量。