深度學習面試問題整理

整理条列了一些自已面试时被问过的问题及解答：

Q：精典神经网络层原理及特色介绍：

1. Fast R-CNN
2. VGG
3. Residual
4. Inception
5. MTCNN
6. YOLO V1~V3

Q：如何避免overfitting

dropout, 缩小mini-batch

Q: 怎么理解anchor？

預設的物件框可能大小和長寬比例，

 

Q：L1, L2 norm的差异

 

Q: 归一化，标准化，正则化的概念和区别

Ref:　https://blog.csdn.net/tianguiyuyu/article/details/80694669

Q:whiten

对图像的像素值分布变换为以0为均值，单位方差的正态分布数值

 

Q：BN(Batch normalization)批标准化

def: 每次加载要训练的批次图像为一个小群体算均值、变异数做标准化。

prevent sometime第一批data都位移很左边，第二批data位移很右边导致不好找出規則收敛

对于每个隐层神经元，把逐渐向非线性函数映射后向取值区间极限饱和区靠拢的输入分布强制拉回到均值为0方差为1的比较标准的正态分布，使得非线性变换函数的输入值落入对输入比较敏感的区域(梯度非饱和区)，以此避免梯度消失问题

功效：

• 解決"部份"covariate shift
• 加速训练过程；
• 可以使用较大的学习率；
• 允许在深层网络中使用sigmoid这种易导致梯度消失的激活函数；
• 具有轻微地正则化效果，以此可以降低dropout的使用。

Ref: https://www.cnblogs.com/hutao722/p/9842199.html

https://www.cnblogs.com/guoyaohua/p/8724433.html

Q: LRN 局部响应归一化

 

Q: covariate shift problem

def : when 独立同分布假设(IID)不成立，训练集的数据分布q(x)和预测集的数据分布p(x)不一致。因為传统的机器学习更多的是假设训练集和测试集是独立同分布的，即要得到什么样的结果，就在什么样的情况环境中训练，最终也在这个大环境中应用。

判斷方式：随机的从训练集和测试集随机的抽取样本用Logistic regression相關性高低

解法：重新给训练集中的数据赋予一个新的权重(Reweight)調整q(x)接近p(x)

 

​

Ref: https://zhuanlan.zhihu.com/p/39918971

 

Q：非极大值抑制(Non-Maximum Suppression), IOU(intersection-over-union)

https://www.jianshu.com/p/d452b5615850

 

Q：regression - linear, logistic

 

Q：YOLO-V3: 有没有full-connection? 如何缩到最后的7*7网格 output

 

Q：比较activation unit - Sigmoid / Tanh / Softmax / Relu(如何解决输入为负的神经元死亡问题)

 

Q：什么是梯度消失? How to avoid ?

Q：什么是梯度爆炸? How to avoid ?

 

Q: Mini-batch 和batch的区别 ?

https://blog.csdn.net/weixin_39502247/article/details/80032487

 

Q：1*1 convolution的功能和目的

虽然不改变数图像XY尺寸，但能调整channel数量

https://zhuanlan.zhihu.com/p/30458963

 

Q：原理上和实际收敛效率上说明优化函数(Optimizer): SGD(one, mini-batch, full-bath) , ADAM

 

Q：When训练资料不足怎么办？如何扩充仿真数据？

MixUp、Cutout、CutMix、FMix、Mosaic

​

Ref:https://cloud.tencent.com/developer/article/1593971

 

Q: stride，padding的理解

stride称步幅或步长，即每次卷积后移动几个像素才做卷积

做完卷积的feature map的W = （(原图像W  + padding *2 - 卷积核size)/ stride）+ 1，实际范例见下列链接

https://blog.csdn.net/weicao1990/article/details/80282837

 

Q: Evaluation metric評分指標

 

Programming:

IOU计算