人脸识别
分享人脸识别算法
自来水大叔
这个作者很懒,什么都没留下…
展开
-
SoftmaxWithLoss反传求导
如果SoftmaxWithLoss中的label为one-hot形式,求导不需要上述那么麻烦,只需要计算label为1时对应的导数,等价于求其最大后验概率。如果是knowledge distilling中softlabel这种则需要计算所有的label对应的导数...原创 2020-12-21 13:54:04 · 111 阅读 · 0 评论 -
SigmoidWithLoss反传求导
众所周知,使用sigmoid作为激活函数时如果预测值过大或者过小时会出现梯度接近于0的情况,这样会导致收敛变慢,网络无法学习,但是为什么sigmoid和cross entropy结合起来却不存在这种问题,答案在其反向求导过程,反向求导的过程中cross entropy和sigmoid的导数抵消掉了,消除了梯度弥散的影响...原创 2020-12-21 13:52:59 · 269 阅读 · 0 评论 -
Feature norm 反传求导
最近看了一些对softmax做改进应用于人脸的文章,其中提到了对特征层做norm2然后scale,再加上其他一些trick提高softmax分类器性能的文章,现把norm这块的反传求导贴上来原创 2020-12-21 13:51:59 · 227 阅读 · 0 评论 -
人脸识别之损失函数Softmax
这次我想和各位童鞋分享下人脸识别中的损失函数,我认为根据损失函数的不同可以把人脸识别看做classification和metric learning两种或者两者的结合。下面我分享下我训练中踩的一些坑,如有纰漏欢迎童鞋留言。最常见的是softmax,我在用softmax训练模型时发现人脸模型会收敛的很快,训练的准确率很快就到了0.9,但是继续训练之后我们会发现测试集的精度不上升了,如果训练过度还会出现下降的情况,不用问肯定是过拟合了。但是有些时候你会发现及时加一些防止过拟合的手段还是会发现测试精度上的不明原创 2020-12-21 10:52:29 · 583 阅读 · 0 评论 -
人脸识别之数据和网络结构
更新了一部分对网络结构的尝试针对于移动端的神经网络结构,我觉得要关注的有两个方面,一个是设计表达能力较强的网络,另一个是模型压缩,关于模型压缩的内容可以参考我之前的文章,这里我想说的是网络结构。目前CNN主要分为卷积层和全连接层,而卷积层的计算量又很大,所以我们考虑的寻找表达能力强并且计算量小的卷积,学术界和工业界已经在这方面做了很多探索比如group convolution, depthwise separable convolution, point-wise convolution等等,具体可以参原创 2020-12-21 10:51:49 · 808 阅读 · 2 评论