深度学习 面试 总结

机器学习

• 回归：对连续随机变量建模预测的监督学习算法 线性回归 交叉熵损失函数
• 分类：对离散变量建模预测的监督式学习算法 支持向量机 均方差
• 聚类：基于数据的内部规律，寻找其属于不同族群的无监督学习算法 K-means、强化学习、自编码、受陷玻尔兹曼机

1*1卷积核的作用
跨通道信息融合
通过对通道数的降维和升维来减少计算量

ReLU函数的特点

1. 计算量更小
2. 反向传播过程中，Sigmoid存在饱和区，如果激活函数值落入饱和区，则梯度更新值非常小，导致出现梯度清零消失的现象。
3. 可令部分输出为0，造成网络的稀疏性。减少前后层参数对当前层参数的影响，提升了模型的泛化能力。

激活函数的适用范围
Sigmoid：常用于二分类的输出层
tanh：常用于输出对称的结果的时候，比如（-1，1）
ReLU：应用于各种类型的神经网络，卷积神经网络的隐藏层
LeakyReLU：虽然解决了失活神经元的问题，但在实践中并没有发现效果比ReLU有明显的提升。

机器学习和深度学习差别
机器学习需要手动设置特征，深度学习在学习过程中自动提取特征

学习率的算法
SGD、Momentum、AdaGrad、Adam
SGD随机梯度下降，BGD批量梯度下降。一般不用BGD，因为SGD可以作为跳出局部极小值的一种方式，也可能跳出全局最小。
恢复训练的时候要同时保存模型和优化器的参数，如Adam优化器的lr随epochs的改变而改变。

批归一化
解决训练过程中的中间层数据分布发生改变的问题，以防止梯度消失或者爆炸，加快训练速度。

1. 使学习快速进行（可以选用较大的lr）
2. 降低模型对初始值的敏感性
3. 从一定程度上抑制过拟合

正向传播：通过可学习的γ和β参数求出新的分布值。
反向传播：通过链式求导法则，修正γ和β以及相关的极值。

倾向于把BN放在ReLU的后面。

fine tune：冻结大部分前层网络，只对后几层进行调参

线性函数不可以作为激活函数

Dropou