【面经】视觉算法相关

深度学习检测/跟踪面试题汇总

1. 必备技能

分类/检测方面

• yolo, faster rcnn、mask rcnn、ssd、yolov3等彻底掌握基础原理和细节
• resnet,RetineNet,FPN等，要很完整的叙述其创新点。

分割方面

• FCN，U-Net，Deeplab-v3等等，也要有一定的了解

跟踪方面

暂不说了。
 

2.算法相关问题(理论)

• FPN原理，作用，
• 讲下yolov3的架构，和two-stage的mask-rcnn有什么区别
• 问了faster rcnn、Mask rcnn的细节，faster rcnn的rpn结构介绍下，rpn的loss是什么，master rcnn和faster rcnn有什么区别和改进
• retinanet的结构和创新点，讲一下ssd和retinanet的区别
• resnet网络的创新，为什么能解决梯度消失问题，残差模块详细介绍下，为什么能解决网络层数加深带来的梯度消失和网络退化问题。（resnet相比于之前的卷积神经网络模型中，最大的改进点是什么？）
• ROI Pooling和ROI Align的区别及演进
• RPN结构讲下，RPN的loss有哪些，分类loss是二分类还是多分类
• ROI Pooling是在RPN前面还是后面，讲下原理，有什么作用
• Mask RCNN基本结构讲下
• 1*1卷积作用（降维－改变特征通道数，加入非线性）
• Faster RCNN的loss有哪些，分别讲下
• ResNet结构讲下，它解决了什么问题
• InceptionV3结构讲下
• 防止过拟合有哪些操作
• 现在最好的分割模型是什么，我答了deeplab v3+，面试官接着问，deeplab v3+相比于deeplab v2的区别在于什么，（deeplab v2也是基于encoder和decoder架构的，但是后面有连接CRF条件随机场，而deeplab v3+没有了条件随机场，deeplab v3+的亮点之处在于引入了ASPP空洞卷积模块和同步的BN）
• FCN结构介绍，上采样的具体操作
• 空洞卷积的娟丽，deeplab v1 v2的改进
• focal loss介绍
• 计算卷积操作的浮点计算量
• mobile net
• unet的缺点，最新的改进版本有没有看过（这个没回答上，很伤，之前还有人提醒过我） 附上unet++ 论文连接 https://arxiv.org/pdf/1807.10165v1.pdf
• 常用的目标检测算法，one stage 和two stage 的区别
• attention
• LSTM 和 RNN
• mobile net shuffle net具体结构，如何降低计算量，给了我一个DW卷积具体实例让我算降低了多少计算量
• dropout和BN
• max pooling 梯度传导
• 1*1卷积核作用
• resnet VGG介绍，主要特色
• 如何防止梯度消失，为什么会有梯度消失

 

3.项目相关问题(实践)

1. 怎么让loss变得稳定
2. 分割出来的结果通常会有不连续的情况，怎么处理？
   当时想到过说平滑滤波，但是一紧张就瞎扯了别的。哭了，后来面试官问我有什么想问他的，我就问了他这个问题，他说是：你去网上调查一下吧，一般使用图像处理里面的传统方法。
3. 并行计算了解过吗
4. 比赛中如何解决样本不平衡，以及用了什么训练技巧，为什么能起作用，其原理是什么
5. 数据增广方法
6. 现在有些什么降低模型复杂的的方法，我说了两点，使用一些降低计算量的结构比如mobile net shuffle net，然后模型剪枝（这个就把自己坑了）
8. 模型剪枝的方法，具体细节（没回答上）
9. SE介绍
10. W2V 的原理 ，两种生成方式，W2V的思想到底是什么，为什么要这样做，W2V的缺点，W2V中所用的softmax 比起普通softmax有何区别，为什么能减少计算量（我并不是搞自然语言的，这一波问的我有点捉襟见肘，只是勉强回答了，面试官很好，我没回答清楚地就给我讲，引导我）
11. embeding的方法 FM FFM deep FM
12. attention (毕竟是 attention is all you need 基本都会问)

 

3.代码题

 

4.延伸/拓展问题

拓展问题往往是根据项目经历，自己的研究方向，或是面试部门的实际工程问题为基础展开的。这个就比较广泛了。

• 图像基础操作题,对图像做45度旋转，如何使图像完整不缺失，缺失和超出的部分如何处理？
• 细粒度图像分类了解吗