- 博客(2)
- 收藏
- 关注
RSS订阅原创 nnie模型（海思平台）平台转模型改变输入消除ceil_mode影响
原因：海思平台不支持maxpool中ceil_mode=false,resnet中的maxpool默认为false。https://pytorch.org/docs/stable/nn.html解决办法：resnet maxpool只有一处：改变输入大小，使得不受ceil_mode影响。pool计算公式：如：输入为384, 卷积后为192（192+2*1+1*（3-1）-1）/2 +1 = 95.5 + 1，torch 95+1 = 96, nnie:96+..
2020-06-16 17:07:12
986
原创 知识蒸馏
知识蒸馏即小模型从一个大模型学习知识，使得小模型获取接近大模型的结果。类似迁移学习，和预训练相比，蒸馏从网络学习，预训练则从数据学习。蒸馏可以将teacher模型的输出作为student模型的的soft label。也可以从中间的特征学习即蒸馏的过程可以看做学习大模型不同的区域。大模型和小模型的特征对应是一个难点。入门：https://zhuanlan.zhihu.com/p/81467832综述：https://zhuanlan.zhihu.co...
2020-06-04 11:28:08
370
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人