斯坦福cs231n学习笔记（10）------神经网络训练细节（训练过程，超参数优化）

胡大炮的妖孽人生

于 2018-01-22 23:16:53 发布

阅读量1.2w

点赞数 5

分类专栏： Computer Vision 文章标签：计算机视觉神经网络

本文链接：https://blog.csdn.net/huplion/article/details/79134767

版权

本文是斯坦福cs231n课程的学习笔记，探讨了神经网络训练过程中的关键步骤，包括数据预处理、网络结构选择。重点介绍了学习速率的合理设置以及超参数优化方法，如通过逐步调整学习速率区间找到最佳值，以及使用网格搜索和随机取样优化正则化参数。此外，文章强调了在训练过程中监控损失函数和准确率的重要性，以防止过拟合等问题。

摘要由CSDN通过智能技术生成

神经网络训练细节系列笔记：

这一篇将介绍如何在训练中调整学习速率，以及对超参数优化的问题。

一、Babysitting the learning process

简单描述下神经网络的训练的几个步骤：
Step 1 :数据预处理

在神经网络训练细节（数据预处理、权重初始化）这篇博客中有详细的介绍数据预处理的几种方式。

Step 2:选择你要训练的神经网络的结构

以上图为例是一个两层的神经网络，我们选择32*32*3的CIFAR-10图片作为输入数据，10个分类，隐藏层中有50个神经元。
如果我们想要保证预测结果正确就是神经网络正常工作，第一件事就是初始化一个两层的神经网络，神经网络的权重和偏置值都是最简单的初始值：

def init_two_layer_model(input_size,hidden_size,output_size):
    model={}
    model['W1'] = 0.0001 * np.random.randn(input_size, hidden_size)
    model['b1'] = np.zeros(hidden_size)