深度学习面经

欠拟合与过拟合：

• 欠拟合：指模型不能在训练集上获得足够低的训练误差
• 过拟合：指模型的训练误差与测试误差之间的差距过大，反映在评价指标上，就是模型在训练集上表现良好，在测试集上表现一般（泛化能力差）

降低过拟合风险的方法：

• 数据增强

1. 平移、旋转、缩放
2. 利用生成对抗网络生成新数据 

•  降低模型复杂度

1. 神经网络：减少网络层数、神经个数、添加dropout层、训练提前终止
2. 决策树：降低树的深度、剪枝 

• 权值约束 

1. L1正则化
2. L2正则化 

• 交叉验证 

 降低欠拟合风险的方法：

• 增加模型复杂度 

1. 线性模型：添加高次项
2. 神将网络：增加网路层数/神经元个数 

 反向传播的作用、目的、本质

梯度下降法中需要利用损失函数对所有参数的梯度来寻找局部最小值点，而反向传播就是用于计算该梯度的方法，其本质是利用链式法则对每个参数求导。 

激活函数的作用--为什么要使用非线性激活函数？

• 激活函数的目的是为了向网络中加入非线性因素，加强网络的表示能力，解决线性模型无法解决的问题。

为什么加入非线性因素就能加强网络的表示能力？

• 神经网络的万能近似定理认为神经网络只要具有至少一个非线性隐藏层，那么只要给予足够多的隐藏神经元&#