torch.optim有哪些优化算法

1. Adadelta: 实现了Adadelta优化算法。
2. Adagrad: 实现了Adagrad优化算法。
3. Adam: 实现了Adam优化算法。
4. AdamW: 实现了带有权重衰减的Adam优化算法。
5. SparseAdam: 实现了适用于稀疏梯度的Adam优化算法。
6. Adamax: 实现了Adamax优化算法。
7. ASGD: 实现了平均随机梯度下降算法。
8. SGD: 实现了随机梯度下降算法。
9. RAdam: 实现了Rectified Adam (RAdam) 优化算法。
10. Rprop: 实现了递归反向传播（Rprop）优化算法。
11. RMSprop: 实现了RMSprop优化算法。
12. Optimizer: 是所有优化器的基类，其他优化器都继承自这个基类。
13. NAdam: 实现了Nadam（Nesterov-accelerated Adaptive Moment Estimation）算法。
14. LBFGS: 实现了Limited-memory Broyden–Fletcher–Goldfarb–Shanno（L-BFGS）优化算法。

此外，还导入了lr_scheduler和swa_utils模块，它们分别包含学习率调度器和用于Stochastic Weight Averaging（SWA）的实用工具。这些工具提供了在训练神经网络时使用的各种优化算法和辅助功能。