算法面试总结-基础理论

1、你项目中怎么选择开发平台的？

1.对数据量及硬件的要求和支持
2.资源是否丰富
3.维护和移植

2、说说你怎么进行超参数调优的？

1.凭经验，选择参数
2.网格搜缩，在一定范围内均匀分布的一组值中迭代查找
3.随机搜索，随机挑选一组值进行查找

3、说说为什么需要Batch Size？

单次传入网络的数据量大小。
1.控制对内存消耗。
2.batchSize较大，每个epoch能同时处理更多的数据，从而减少训练的时间。
3.提高训练稳定性，模型在每个epoch中更新多次，每次权重都不一样，有助于避免局部最优解。
4.batchsize较大，每个batch的梯度更新更加接近于零，需要更多迭代次数才能收敛。减缓收敛速度
5.较大batchsize可能导致模型过拟合，模型见得数据量相对更少，对噪声和异常值更加敏感，缺乏泛化性。

4、说说归一化的目的？

1.缩小数据范围，减少奇异值的对模型的影响（数值不稳定，可能会引起梯度消失和梯度爆炸）
2.减少计算量
3.提高收敛速度，数据特征处于相同数值范围，可以使得梯度下降法更加稳定，从而加快收敛速度
4.提高模型泛化能力，降低模型对输入特征分布偏差的敏感性

5、说说局部最优与全局最优？

1.局部最优，在函数值空间的有限区域内寻找最小值（极值点）
2.全局最优，在函数值空间整个区域寻找最小值问题（最值点）

6、说说监督学习与非监督学习的区别？

1.监督学习，有数据，也有对应目标标签，训练一个预测模型，将输入数据映射到标签的过程。
2.非监督学习中，数据没有对应目标的标签，学习模型是为了推断出数据的一些内在结构，常见的应用场景聚类。

7、说说监督学习有哪些步骤？

1.数据集建立（分类，标注）
2.数据预处理，数据增强（旋转，颜色处理，平移）
3.特征工程
4.构建预测模型（y = wX+b）和损失模型，模型的输出和输入标签误差计算
5.训练
6.验证和模型选择

8、说说为什么神经网络越来越深？

1.模型更深，包含更多隐藏层，在神经元数量一样的情况下，能学到更多的深层次信息，高级特征（语义信息）。拥有同样数量的神经元的浅层网络，更多的学到低层次特征（边缘、纹理）。

9、说说神经网络变深的意义？

层数加深，可以获得指数级的表达空间，能有更多的不同类型的子结构，构造更复杂的非线性映射关系，表示不同层次的特征。

10、说说为什么深度神经网络较浅层网络难以训练？

1.反向传播时，梯度会越来越小，造成梯度消失。
2.梯度爆炸，梯度大于1，多层传递后，会出现梯度爆炸
3.权重矩阵退化，多层网络，矩阵在更新过程中，奇异值会逐渐重叠，造成权重矩阵退化导致模型有效自由度减少。

11、说说超参数搜索过程？

在训练集上根据模型的性能指标对模型参数进行优化。
在验证集上根据模型的性能指标对模型的超参数进行搜索
在测试集中验证模型优劣。

12、说说什么是模型微调Fine tuning？

在现有参数上训练指定数据集，或修改的网络。

13、说说Fine tuning时是否会更新网络参数，为什么？

会。微调是将初始化参数设置成了别人训练好的参数。

14、说说Fine tuning模型有哪些方法？

只训练最后分类层，特点：fine-tuning的模型最终分类已符合要求，只是在其基础上进行类别降维。

15、说说误差、噪声、偏差、方差的区别与联系？

1.误差 = 噪声+偏差+方差，反映整个模型的准确度（模型预测和真实值之间）
2.噪声，模型所能达到的期望泛化误差的下限。也是客观存在的
3.偏差，衡量模型拟合训练数据的能力，模型在样本上的输出与真实值之间的差值，即模型的精确度
4.方差，描述模型输出与期望值之间的误差，离散程度。方差越大，数据越分散，模型稳定性越差。

16、说说熵是什么？

随机变量的不确定性。不确定性越高，熵值越大

17、说说梯度消失、爆炸的解决方案？

1.激活函数更换，如ReLU,其函数的导数在正数部分是恒等于1的，可有效缓解梯度消失和梯度爆炸。
2.归一化
3，残差结构，能够使深层网络梯度通过跳级连接路径直接返回到浅层部分，进行有效回传。
4.LSTM，门控机制，将过程中的梯度进行抵消

18、说说深度学习为什么不用二阶优化？

1.计算量大，训练速度慢
2.二阶能够能获得更高精度的解，深层网络不那么需要。

19、说说什么是TOP5错误率？

TOP5则是前五个最大概率的类别。TOP5错误率，即预测最可能的五类都不是该样本类别的错误率。（一般应用于类别较多的数据集）