optimizer个人总结

最新推荐文章于 2024-08-24 09:48:55 发布

cuixuange

最新推荐文章于 2024-08-24 09:48:55 发布

阅读量372

点赞数

分类专栏： machine-learning 文章标签：机器学习优化器，

本文链接：https://blog.csdn.net/u014297722/article/details/105459343

版权

本文探讨了深度学习中的优化器，从基础的SGD到Adagrad、Adam等，解析了它们的工作原理和影响性能的因素。同时，提到了在文本分类任务中的优化技巧，如L1、L2正则化，以及注意力机制和Transformer的相关应用。文章还介绍了Adam家族的扩展，包括AdamW和AdaMSGrad，并提供了相关实现和源码链接。

摘要由CSDN通过智能技术生成

在这里插入图片描述

optimizer = SGD + Learning Rate scheduler
机器之心：Adagrad & 优化器发展历程
Paper: An overview of gradient descent optimization algorithms
简书：Adam
知乎：文本分类问题常见的性能&效果Tricks

引用:
1.在文本分类任务中，有哪些论文中很少提及却对性能有重要影响的tricks？https://www.zhihu.com/question/265357659
2.正则项相关：
https://www.zhihu.com/question/30231749
L1、L2正则化 https://zhuanlan.zhihu.com/p/35893078
知乎L2 https://www.zhihu.com/question/30231749
L0,L1,L2范数定义 https://zhuanlan.zhihu.com/p/28023308
3.fast ai 注意力和transformer课程
https://www.fast.ai/2019/07/08/fastai-nlp/
4.Adam家族
https://blog.csdn.net/u012535605/article/details/83579214
admw: https://zhuanlan.zhihu.com/p/40814046
admw: https://zhuanlan.zhihu.com/p/63982470
admw & admsgrad: https://www.fast.ai/2018/07/02/adam-weight-decay/
layer-wise adamw batch https://medium.com/nvidia-ai/a-guide-to-optimizer-implementation-for-bert-at-scale-8338cc7f45fd
bert admw源码https://github.com/google-research/bert/blob/eedf5716ce1268e56f0a50264a88cafad334ac61/optimization.py#L87