网易算法实习面经（2019.3）

2019.3.13网易互娱一面

1.自我介绍

2.计算卷积神经网络的参数量，每层输出特征图的尺寸（卷积层、池化层、全连接层）

https://blog.csdn.net/qian99/article/details/79008053

3.MobileNet深度可分离卷积的参数量计算

4.BN层一般加在网络的哪个部分？

（卷积层后面，激活函数前面）

在激活层（如 ReLU ）之前还是之后，没有一个统一的定论。在原论文中提出在非线性层之前（CONV_BN_RELU），而在实际编程中很多人可能放在激活层之后(BN_CONV_RELU)。
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
原文: https://www.cnblogs.com/makefile/p/batch-norm.html?utm_source=debugrun&utm_medium=referral © 康行天下

BN:总的来说，BN通过将每一层网络的输入进行normalization，保证输入分布的均值与方差固定在一定范围内，减少了网络中的Internal Covariate Shift问题，并在一定程度上缓解了梯度消失，加速了模型收敛；并且BN使得网络对参数、激活函数更加具有鲁棒性，降低了神经网络模型训练和调参的复杂度；最后BN训练过程中由于使用mini-batch的mean/variance每次都不同，引入了随机噪声，在一定程度上对模型起到了正则化的效果

作者：ZeroZone零域
链接：https://www.jianshu.com/p/b38e14c1f14d
来源：简书
简书著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。

5.BN层的参数量计算

每个卷积层特征图NxCxHxW 

BN是针对NxHxW计算均值方差，故每个通道有γ和β两个参数，一共2C个参数

6.BN进行平移和缩放处理，引入了γ和β两个参数的目的是什么

（近似还原原始特征分布或让我们的网络可以学习恢复出原始网络所要学习的特征分布。）

7.BN在测试阶段怎么运作？

https://www.cnblogs.com/makefile/p/batch-norm.html?utm_source=debugrun&utm_medium=referral

8.Dropout原理 ：我们在前向传播的时候，让某个神经元的激活值以一定的概率p停止工作，这样可以使模型泛化性更强，因为它不会太依赖某些局部的特征

https://www.cnblogs.com/tornadomeet/p/3258122.html

9.Dropout在神经网络中的使用，具体怎么让某些神经元以一定的概率停止工作（就是被删除掉）？代码层面如何实现呢？

https://blog.csdn.net/program_developer/article/details/80737724

 

10.测试模型阶段Dropout怎么运作？

预测模型的时候，每一个神经单元的权重参数要乘以概率p

在训练中，每个隐层的神经元先乘概率P，然后在进行激活，在测试中，所有的神经元先进行激活，然后每个隐层神经元的输出乘P。

11.简历中含金量最大的项目是哪个？

12.介绍循环学习率CLR

https://lumingdong.cn/setting-strategy-of-gradient-descent-learning-rate.html#%E5%BE%AA%E7%8E%AF%E5%AD%A6%E4%B9%A0%E7%8E%87%EF%BC%88Cyclical_Learning_Rate%EF%BC%89

13.为什么有的学习率策略从小学率开始慢慢增大？

学习率 warm up

神经网络中 warmup 策略为什么有效  

• 有助于减缓模型在初始阶段对mini-batch的提前过拟合现象，保持分布的平稳
• 有助于保持模型深层的稳定性

 

2019.3.21网易互娱二面

1.自我介绍

2.介绍实习工作内容

• 模型结构
• 损失函数
• mIoU计算方法
• 后处理逻辑
• 变多分类为二分类区别
• vanish point概念

3.mobileNet v1 v2区别，为什么这么改，好处是什么，激活函数加在哪

主要是两点：

1.Depth-wise convolution之前多了一个1*1的“扩张”层，目的是为了提升通道数，获得更多特征；

2.最后不采用Relu，而是Linear，目的是防止Relu破坏特征。

  当采用“扩张”→“卷积提特征”→ “压缩”时，在“压缩”之后会碰到一个问题，那就是Relu会破坏特征。为什么这里的Relu会破坏特征呢？这得从Relu的性质说起，Relu对于负的输入，输出全为零；而本来特征就已经被“压缩”，再经过Relu的话，又要“损失”一部分特征，因此这里不采用Relu，实验结果表明这样做是正确的，这就称为Linear bottlenecks

3.使用跳跃连接（受resnet，densenet启发）

4.CRF是什么

5.空洞卷积是什么，优点

Dilated Convolutions，翻译为扩张卷积或空洞卷积。扩张卷积与普通的卷积相比，除了卷积核的大小以外，还有一个扩张率(dilation rate)参数，主要用来表示扩张的大小。扩张卷积与普通卷积的相同点在于，卷积核的大小是一样的，在神经网络中即参数数量不变，区别在于扩张卷积具有更大的感受野。感受野是卷积核在图像上看到的大小，例如$3 x3$卷积核的感受野大小为9。

优点

扩展卷积在保持参数个数不变的情况下增大了卷积核的感受野，同时它可以保证输出的特征映射（feature map）的大小保持不变。一个扩张率为2的3×3卷积核，感受野与5×5的卷积核相同，但参数数量仅为9个，是5×5卷积参数数量的$36%$。

 

6.了解语义分割，目标检测什么论文

7.FCN的损失函数是怎么计算的

损失函数是在最后一层的spatial map上的每一个pixel的loss和，在每一个pixel使用softmax los。

8.语义分割里用L1，L2 loss吗，为什么

9.服饰关键点定位比赛loss

10.目标检测faster rcnn 流程

11.RPN和SSD的区别

SSD是在多个不同尺度/分辨率的特征图上生成anchor，故而在每一个尺度的特征图上生成anchor时，并没有引入multi-scale，而是给同一个尺度分辨率特征图上的每个像素点设定一个面积值，在该像素点上产生 len(aspect_ratios)个anchor boxes，即产生不同宽高比的anchor boxes，这些不同宽高比的anchor boxes在同一个分辨率的特征图上具有相同的面积，故而SSD anchor的多尺度完全由为每个不同尺度的特征图上的像素点指定anchor 的面积而引入。就是说，如果 aspect_ratio=[0.5,1,2]，则在某一个尺度的特征图上每个位置的像素点处，只会产生3 个面积相等（面积的具体数值见SSD论文中的计算公式）的anchor boxes。

而对于Faster RCNN中的RPN模型，由于没有引入FPN特征金字塔网络，故而只在一个尺度的特征图上生成anchor，anchor的多尺度完全由对于anchor的设计决定，比如在特征图上设置3种不同面积的anchor boxes，aspect_ratio=[0.5,1,2]，则在特征图上每个位置的像素点处，会有9个anchor boxes，其中每三个宽高比不同的anchor boxes具有相同的面积。这里的面积指的是在输入图像空间分辨率上的面积值。

想到解释这个问题主要是因为看到了 引入FPN的cascaded RCNN代码中 

cfg.ANCHOR_SCALES
参数并没有参与到anchor的生成代码段中。
--------------------- 
作者：WYXHAHAHA123 
来源：CSDN 
原文：https://blog.csdn.net/WYXHAHAHA123/article/details/87897800 
版权声明：本文为博主原创文章，转载请附上博文链接！

SSD模型与Faster RCNN中的RPN很类似。SSD中的dafault bounding box类似于RPN中的anchor，但是，SSD在不同的特征层中考虑不同的尺度，RPN在一个特征层考虑不同的尺度。

提出了 SSD 物体检测模型，与现在流行的检测模型一样，将检测过程整个成一个 single deep neural network。便于训练与优化，同时提高检测速度。SSD 将输出一系列 离散化（discretization） 的 bounding boxes，这些 bounding boxes 是在 不同层次（layers） 上的 feature maps 上生成的，并且有着不同的 aspect ratio。

12.python生成器

https://www.liaoxuefeng.com/wiki/897692888725344/923029685138624

13.pytorch model.eval相对于train改变了什么

14.有什么需要问的