深度学习基础知识1

bn的作用
1.归一化输入，避免训练过程中特征分布一直变化，加速收敛
2.避免特征值过大带来的梯度爆炸，提高泛化能力

100个选手，两两pk，赢者继续，败者淘汰，轮空的人直接晋级，主办方一共需要举办多少场比赛
50+25+16+6+3+2+1

n层空洞卷积，rate为m，卷积核大小为3，步长是1，感受野多大
Tn = Tn-1 + (2(m-1) + k - 1) * (stride_n * stride_n-1 * … * stride_1)

ReLU的优缺点
优点：
1.它能起到单侧抑制的作用，使得神经网络中的神经元具有稀疏激活性，防止过拟合
2.它不存在梯度饱和的问题，因此比sigmoid的收敛速度快
3.计算复杂度低，不需要进行指数运算
缺点：
它不会压缩数据值，所以数据值随着网络层数的增加会不断变大

为什么要进行归一化
归一化分为输入数据的归一化和特征归一化。如果输入数据不进行归一化的话，每一批输入的数据分布都不一致，神经网络需要在多个分布中找到一个平衡点，导致收敛缓慢。如果特征不进行归一化的话，那么每个网络层接收到的分布都是不一样的，这也导致了收敛缓慢

四种归一化方法

BN为什么需要缩放平移操作
因为BN的第一步把输入分布标准化成一个标准的正态分布，如果所有网络层的输入都是标准的正态分布，那么就会损失掉已经学习到的信息，因此需要一个缩放平移操作来保留有效信息

引起梯度消失和梯度爆炸的原因
关键因素是激活函数，如果激活函数的导数大于1，那么随着网络层数的增加，梯度就会非常大，如果激活函数的导数小于1，那么随着网络层的增加，梯度就会趋近于0

缓解梯度消失和梯度爆炸的方法
使用ReLU激活函数，激活区域的导数恒等于1，缓解了由于激活函数求导导致的梯度消失和梯度爆炸的问题
结合bn，将特征值控制在一个合理的范围，避免了梯度爆炸

反卷积输出特征大小
卷积的是：o = (i - f + 2p)/s + 1
反卷积是：i = (o-1)s - 2p + f

池化层的作用
1.平移不变性
2.防止过拟合
3.特征降维
4.增大感受野

dropout的作用
用来防止过拟合
1.减少神经元之间的复杂的共适应性
2.看作是模型平均的一种，平均多个不同的小网络
由于它会改变特征的分布，因此有两种方式来弥补：
1.训练的时候，dropout后的特征除以p
2.测试的时候，特征乘以p

group conv、深度可分离卷积
分组卷积

参数量可减少为原来的1/G
深度可分离卷积包含了逐通道卷积和逐点卷积两步，
逐通道卷积的参数量为k×k×C
逐点卷积的参数量为1×1×C×N

几种梯度下降的方法

权重初始化的方式
Xavier初始化
Kaiming初始化

KL散度
用分布q近似分布p需要的额外信息量

C，C++程序编译的内存分配情况有哪几种
一、从静态存储区域分配：
内存在程序编译时就已经分配好，这块内存在程序的整个运行期间都存在。速度快，不容易出错，因为有系统会善后。例如全局变量，static 变量等。

二、在栈上分配：
在执行函数时,函数内局部变量的存储单元都在栈上创建，函数执行结束时这些存储单元自动被释放。栈内存分配运算内置于处理器的指令集中，效率很高，但是分配的内存容量有限。

三、从堆上分配：
即动态内存分配。程序在运行的时候用 malloc 或 new 申请任意大小的内存，程序员自己负责在何时用 free 或 delete 释放内存。动态内存的生存期由程序员决定，使用非常灵活。如果在堆上分配了空间,就有责任回收它，否则运行的程序会出现内存泄漏，另外频繁地分配和释放不同大小的堆空间将会产生堆内碎块。

SGD的缺点
SGD的缺点是参数更新方向只依赖于当前batch计算出的梯度，因此十分的不稳定。 为了抑制SGD的震荡，可以在梯度下降的过程中加入惯性。 t时刻的下降方向，不仅由当前点的梯度方向决定，还由此前的累积的梯度来决定

解释最大似然估计
求解令所有样本的联合概率最大的参数值

比较 dice loss 和 cross-entropy loss，说明优缺点
dice loss 直接优化评价指标，而交叉熵只是一个代理
dice loss 在训练过程中更关注前景区域，比交叉熵更适合样本不平衡的场景
dice loss 不稳定，尤其是在只有小目标的情况下