AdamW-and-SGDW 项目使用教程

AdamW-and-SGDW 项目使用教程

AdamW-and-SGDWDecoupled Weight Decay Regularization (ICLR 2019)项目地址:https://gitcode.com/gh_mirrors/ad/AdamW-and-SGDW

1. 项目的目录结构及介绍

AdamW-and-SGDW/
├── AdamW.py
├── README.md
├── SGDW.py
├── demo_fashion_mnist.ipynb
└── requirements.txt

• AdamW.py: 包含 AdamW 优化器的实现。
• README.md: 项目的说明文档。
• SGDW.py: 包含 SGDW 优化器的实现。
• demo_fashion_mnist.ipynb: 演示如何使用 AdamW 和 SGDW 优化器在 Fashion MNIST 数据集上进行训练的 Jupyter Notebook。
• requirements.txt: 项目依赖的 Python 包列表。

2. 项目的启动文件介绍

项目的启动文件是 demo_fashion_mnist.ipynb，这是一个 Jupyter Notebook 文件，用于演示如何使用 AdamW 和 SGDW 优化器在 Fashion MNIST 数据集上进行训练。

启动步骤

1. 确保你已经安装了 Jupyter Notebook。如果没有安装，可以使用以下命令进行安装：

   pip install notebook
   

2. 克隆项目仓库并进入项目目录：

   git clone https://github.com/loshchil/AdamW-and-SGDW.git
   cd AdamW-and-SGDW
   

3. 安装项目依赖：

   pip install -r requirements.txt
   

4. 启动 Jupyter Notebook：

   jupyter notebook
   

5. 在浏览器中打开 demo_fashion_mnist.ipynb 文件，按照 Notebook 中的步骤进行操作。

3. 项目的配置文件介绍

项目中没有显式的配置文件，但可以通过修改 demo_fashion_mnist.ipynb 中的参数来调整训练过程。例如，可以修改学习率、权重衰减因子等参数。

示例

在 demo_fashion_mnist.ipynb 中，可以找到如下代码片段来调整参数：

from AdamW import AdamW
from SGDW import SGDW

# 示例参数设置
learning_rate = 0.001
weight_decay = 0.01

optimizer = AdamW(model.parameters(), lr=learning_rate, weight_decay=weight_decay)

通过修改 learning_rate 和 weight_decay 的值，可以调整优化器的行为。

AdamW-and-SGDWDecoupled Weight Decay Regularization (ICLR 2019)项目地址:https://gitcode.com/gh_mirrors/ad/AdamW-and-SGDW