DL参数调整经验

看了各位老大的评论收益很多。从我个人的经验来说，提出几点总结：
1.样本要多，其中人数要在12000人以上，最好有2000-3000个东方人，每个人的样本数量要均衡，不均衡就用各种随机的图像处理算法去生成，别怕麻烦
2.batchnorm一定要加，而且不要相信论文里说的可以去掉dropout或减小weight_decay，batchnorm的抗过拟合能力实际上是不足的，所以dropout建议设在60%以上
3.处理样本用的人脸检测算法非常重要，关键点检测算法次之，因为前者是后者存在的基础，总之，尽可能对齐更多的脸。
4.度量学习是必要的，但是千万不要重头训练，要在现有模型上加上embedding层进行微调训练，这一层的学习率要是前面层次的10-30倍不等，但总学习率要小，当然每个模型情况不同。
5.triplet loss有先天的弊端，但是大家可以去尝试其它几种度量学习啊，你们懂得......。
7.如果你想在lfw上一决高下，多个网络共同决策是必要的，可以在脸上切子区域，也可以同一数据集不同网络，也可以不同数据集不同网络，要试验再试验。
6.lfw99.5%不是梦想，大家努力.

作者：高志鹏
链接：https://www.zhihu.com/question/38937343/answer/126539792
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。