深度学习 计算机视觉面试常考知识点
深度学习
1. 你觉得batch-normalization过程是什么样的
2. 激活函数有什么用?常见的激活函数的区别是什么?
3. Softmax的原理是什么?有什么作用?
在机器学习尤其是深度学习中,softmax是个非常常用而且比较重要的函数,尤其在多分类的场景中使用广泛。他把一些输入映 射为0-1之间的实数,并且归一化保证和为1,因此多分类的概率之和也刚好为1。首先我们简单来看看softmax是什么意思。顾名思义,softmax由两个单词组成,其中一个是max。对于max我们都很熟悉,比如有两个变量a,b。如果a>b,则max为a,反之为b。用伪码简单描述一下就是 if a > b return a; else b
。
另外一个单词为soft。max存在的一个问题是什么呢?如果将max看成一个分类问题,就是非黑即白,最后的输出是一个确定的变量。更多的时候,我们希望输出的是取到某个分类的概率,或者说,我们希望分值大的那一项被经常取到,而分值较小的那一项也有一定的概率偶尔被取到,所以我们就应用到了soft的概念,即最后的输出是每个分类被取到的概率。
4. CNN的平移不变性是什么?如何实现的?
5. VGG,GoogleNet,ResNet等网络之间的区别是什么?
ResNet, AlexNet, VGG, Inception: 理解各种各样的CNN架构
6. 残差网络为什么能解决梯度消失的问题
7. LSTM为什么能解决梯度消失/爆炸的问题
先看RNN梯度消失和爆炸的原因的前半部分,再看LSTM如何解决梯度消失问题的大部分。
8. Attention对比RNN和CNN,分别有哪点你觉得的优势,写出Attention的公式,Attention机制,里面的q,k,v分别代表什么。
《Attention is All You Need》浅读(简介+代码)
一文看懂 Attention(本质原理+3大优点+5大类型)
9. 为什么self-attention可以替代seq2seq
从Seq2seq到Attention模型到Self Attention(一)这篇博客看前面的一些再联系一下《Attention is All You Need》浅读(简介+代码)就行。
10. 卷积后的特征图大小计算
11. 各种优化器的缺点和优点
1. 深度学习——优化器算法Optimizer详解(BGD、SGD、MBGD、Momentum、NAG、Adagrad、Adadelta、RMSprop、 Adam)
计算机视觉
目标检测族
基础深度学习目标检测
RCNN、SPPnet、Fast RCNN、Faster RCNN、SSD、YoloV1、yoloV2和yoloV3
对抗生成族
原始gan: 通俗理解生成对抗网络GAN
条件gan: 【GAN专题】GAN系列一:条件生成 - 知乎
1. 常见的模型压缩和加速方法
一文看懂深度学习模型压缩和加速(就看了结构优化和剪枝)
2. 目标检测里如何有效解决常见的前景少背景多的问题
为了保证正负样本尽量平衡,SSD采用了hard negative mining,就是对负样本进行抽样,抽样时按照置信度误差(预测背景的置信度越小,误差越大)进行降序排列,选取误差的较大的top-k作为训练的负样本,以保证正负样本比例接近1:3。
采用two stage的方式,用rpn先筛一遍。
3. 目标检测里有什么情况是SSD、YOLOv3、Faster R-CNN等所不能解决的,假设网络拟合能力无限强
就比如密集场景下的行人检测任务,上述的目标检测均不能得到很好的结果,由于人与人之间的遮挡,和人群分布的多样性,就算拟合能力无限强这样只会导致过拟合,在训练集上的效果好。这些算法无法解决两个同类之间的边框的偏移和NMS的误杀情况。
4. ROIPool和ROIAlign的区别
深度学习: 从 RoIPooling 到 RoIAlign,同时需要知道线性差值和双线性差值的区别和相同点,三十分钟理解:线性插值,双线性插值Bilinear Interpolation算法
5. 池化层的反向传播问题
6.非极大值的抑制
目标定位和检测系列(3):交并比(IOU)和非极大值抑制(NMS)的python实现, 目标检测的标准的NMS
7.各种IOU损失函数
8. IoU的改进和变种
行人检测
1. CrowdHuman+Double Anchor:强强联合,推动密集行人检测技术落地
传统图像算法
各种图像滤波器
图像处理方法,图像处理:中值滤波&均值滤波,高斯滤波器原理及其实现和一文了解高斯滤波器,附原理及实现过程
卷积
数学形态学
机器学习:
1. 线性回归
2. 手推BP
3. 推导Sigmoid的损失函数与求导
4. 逻辑回归与正则化
【整理】深入理解拉格朗日乘子法(Lagrange Multiplier) 和KKT条件