【面试】AI常见的面试问题

1. 图像处理的相关知识

2. 机器学习的相关知识:

卷积、激活和池化的顺序以及BN和Dropout

常用顺序:
1.卷积 -> 激活 -> 池化
2.卷积 -> 池化 -> 激活
如果使用最大池化,两种顺序的结果是一样的。
如果使用平均池化,建议采用第1种顺序,即卷积 -> 激活 -> 池化。
结论:
先激活,保留的有效特征(不为零的值)更多
先平均池化,会有更多的特征值变为0,不利于网络学习
上述结论,是因为使用的激活函数是ReLU,如果使用其他激活函数,如PReLU,先池化还是先激 活,两者都不会造成梯度消失。此情形下,应当优先选择先池化,再激活,以减少激活时的计算量。
3.卷积 -> BN->激活
4.卷积 -> BN->Dropout->激活
BN的作用:用于重新调整数据分布,解决传播过程中的梯度问题。
BN训练步骤:
1)求解每个训练批次数据的均值。
2)求解每个训练批次数据的方差。
3)使用求得均值和方差对该批次数据做标准化处理,获得0-1分布。
4)尺度变换和偏移:使用标准化之后的x乘γ(尺度因子)调整数值,再加β(平移因子)增加偏移从而得到输出值y。引入尺度因子和平移因子解决标准化后x基本被限制在正态分布下,导致网络表达能力下降问题。
5)训练时采用一个批次中的样本的均值和标准差进行BN操作。但使用训练阶段所有批次记录的均值和方差的期望值作为预测阶段的BN均值和方差。
6)实际应用中,采用类似momentum动量法中使用的滑动平均进行计算测试时的均值和方差。
BN层优缺点:
优点:
1)梯度传递计算更顺畅,较少出现神经元饱和。
2)设置较大的学习率加快训练速度。
3)对模型参数的初始化方式和取值不敏感,稳固网络学习,提高模型训练精度。
4)具有一定正则效果。
缺点:
1)在网络层次深的模型中会减缓训练速度。
2)训练批次建议16以上。

3. 目标检测

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

只搬烫手的砖

你的鼓励将是我最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值