FRN提升方法
经过一些实验，找到了FRN的提升方法，首先上结果。
实验结果
| 数据集 | FRN | NewFRN | NewL1FRN | BN |
|---|---|---|---|---|
| cifar10 | 91.24% | 92.00% | 91.60% | 92.40% |
| cifar100 | 64.54% | 68.38% | 68.28% | 69.06% |
-
cifar10的实验结果
-
cifar100的实验结果
从上面两图以及表格可以看出，新方法可以比FRN更快的收敛，并且在大数据集上取得更好的结果。
方法说明
- F R N : y = m a x ( γ x σ f r n + β , τ ) , σ f r n = ∑ x i 2 H ∗ W + ϵ FRN:y=max(\gamma\frac{x}{\sigma_{frn}}+\beta,\tau),\sigma_{frn}=\sqrt{\frac{\sum x_i^2}{H*W}+\epsilon} FRN:y=max(γσfrnx+β,τ),σfrn=H∗W∑x
最低0.47元/天 解锁文章
3409
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
