一、关键点训练问题
关键点网络思路:在寻找关键点新的网络过程中,尝试过训练SEnet网络结构,因为通道特征加权的思路比较好,但是训练效果较差,SEnet训练的关键点很难收敛;因为初始关键点模型采用的Mobilenet网络结构,所以想把Mobilenet和特征通道加权结合,本来尝试在改写加权网络结构,但是查阅发现Mobilenet_v3已经加入SEnet,所以整理下相关资料,仅供参考。
训练思路:
(1)在300-vw(查看前面的博客的处理流程)训练一个预训练模型,注意人脸框的处理方法,尽量让人脸框包含所有关键点。
(2)采用300w等相关68个关键点公开数据集做训练集,数据也要经过人脸框的预处理,采用300vw预训练模型作为初始化参数,很快就会收敛。
(3)采用于瞳距归一化的欧式距离作为损失函数。
二、论文地址
MobileNetv1论文地址:https://arxiv.org/abs/1704.04861
MobileNetv2论文地址:https://arxiv.org/pdf/1801.04381.pdf
MobileNetv3论文地址:https://arxiv.org/pdf/1905.02244v1.pdf
三、简介
v1:深度可分离卷积dw
v2:linear bottleneck和逆残差结构
v3:v1+v2+MnasNet的se结构(接在部分linear bottleneck之后)
四、MobileNetv3
github地址:
caffe:https://github.com/jixing0415/caffe-mobilenet-v3
tensorflow:
https://github.com/Bisonai/mobilenetv3-tensorflow
https://github.com/frotms/MobilenetV3-Tensorflow
1、block结构发生改变,在v2的bottleneck block里加入了Squeeze-and-Excitation block。
2、算法内部微结构变化,把部分relu6使用hard-swish替换,把全部sigmoid使用hard-sigmoid替换。
3、使用Platform-Aware Neural Architecture Search(NAS)来形成网络结构,并利用NetAdapt技术进一步筛选网络层结构。/
五、SEnet
SeNet的论文地址:https://arxiv.org/pdf/1709.01507.pdf
(1)ResNet+Se-block
SE-block是加载residual-block的后面,紧接着x+x’ 层
(2)Mobilenetv3+Se-block
MobileNetV3的block中SE-block是夹在dw和pw层之间