cs231n-学习笔记-06训练神经网络

训练神经网络

小批随机梯度下降

① 取一批样本数据

② 通过网络进行前向传播，得到损失函数

③ 方向传播计算梯度

④ 使用梯度更新参数

概览本章内容：

① 初始化设置

激活函数、数据预处理、权重初始哈、正则化、梯度检查

② 动态训练

监控学习率、参数更新、超参数优化

③ 评估

整体模型评估

第一部分

① 激活函数（使用relu）

② 数据预处理（对数据的每个特征都进行零中心化，然后将其数值范围都归一化到[-1, 1]范围之内）

③ 权重初始化（使用标准差为$\sqrt{2/n}$的高斯分布来初始化权重，其中$n$是输入的神经元数）

④ 批处理（用）

⑤ 监控学习过程

⑥ 超参数优化（随机样本参数，）

1 激活函数

（1）Sigmoid：$\sigma (x)=\frac{1}{1+e^{-x}}$

（2）tanh： tanh(x)<