![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
SKGLZ
这个作者很懒,什么都没留下…
展开
-
Towards Stable Test-time Adaptation in Dynamic Wild World
测试时自适应(Test-Time Adaptation, TTA)方法在测试阶段指导模型进行快速无监督 / 自监督学习,是当前用于提升深度模型分布外泛化能力的一种强有效工具。为此,来自华南理工大学、腾讯 AI Lab 及新加坡国立大学的研究团队,从统一的角度对现有 TTA 方法在动态场景下不稳定原因进行分析,指出依赖于 Batch 的归一化层是导致不稳定的关键原因之一,另外测试数据流中某些具有噪声 / 大规模梯度的样本容易将模型优化至退化的平凡解。翻译 2023-03-24 11:10:34 · 117 阅读 · 0 评论 -
torch optim
当模型的指标停止增加的时候,可以适当降低LR,在Patience时间内模型没有改进的时候,LR会降低。optimizer - 网络的优化器‘min’ - 监控量停止下降的时候,学习率将减小‘max’ - 监控量停止上升的时候,学习率将减小 为’min’factor - 学习率每次降低倍数,new_lr = old_lr * factorpatience - 容忍网路的性能不提升的次数,高于这个次数就降低学习率verbose - True,则为每次更新向stdout输出一条消息。原创 2023-03-24 11:01:02 · 84 阅读 · 0 评论