我们将构建一个三层的神经网络来处理手写数字识别问题,之后我们将运用AdaGrad、RMSprop、Momentum、Nesterov Momentum和Adam优化算法来加速梯度下降的过程,首先我们先来实现一个简单的神经网络。
1. 导入所需的Python库
import numpy as np
import matplotlib.pyplot as plt
from utils import load_mnist
from collections import OrderedDict
2. 加载数据并可视化
先介绍一下在这个实验中所