其他

其他题目汇总：

1. 假设我们将源模型的输出层改成输出大小为目标数据集类别个数的输出层，则对于这个新的输出层如何初始化
   随机初始化
2. 假设我们将源模型的输出层改成输出大小为目标数据集类别个数的输出层，在训练过程中下列说法正确的是
   对输出层使用较大的学习率，对其他层使用较小的学习率。
3. 图像增广的方法有翻转图片、加入噪点、调整亮度
4. 下列算法中哪个没有使用到Exponential Moving Average：
   A、RMSProp
   B、Adam
   C、Adagrad
   D、SGD Momentum
   RMSProp的自适应学习率分母使用了EMA， Adam自适应学习率的分子和分母都使用了EMA， Adagrad的自适应学习率没有使用EMA，而是对梯度平方进行累加，因而存在梯度消失的问题， Momentum也即对梯度计算EMA
5. 下列关于RMSProp, AdaGrad, AdaDelta, Adam等高阶优化算法的说法错误的是：
   RMSProp利用Exponential Moving Average解决了Adagrad梯度消失的问题
   AdaGrad出现梯度消失的原因是自适应学习率分母的不断累加使其存在最终趋于0的可能
   AdaDelta是基于RMSProp的改进算法，其只有一个超参数
   Adam没有使用Momentum算法

RMSProp不是直接对梯度平方进行累加，而是使用EMA对上一时刻的自适应学习率的分母进行衰减；当梯度一直不为0时，Adagrad的自适应学习率的分母会不断累加，使自适应学习率趋于0，出现梯度消息的问题；Adelta是基于RMSprop的改进，只需传入EMA的衰减参数；Adam使用了Momentum算法，其是RMSProp与Momentum的结合