**
一些关于神经网络训练的技巧
**
1.数据向量化–加速代码运行效率
神经网络的训练通常需要大量的数据,而大量的数据意味着计算机需要有强大的计算能力。为了减少神经网络的训练时间,通常我们会对数据进行向量化,用矩阵运算代替for循环。
#2.超参数的设置
超参数的设置采用由粗到细的方式。
如上图,需要设置两个超参数,首先我们在整个范围内进行一个初略的搜索,选取训练结果最好的超参数点。然后在该点的小范围内进行更加精细的搜索。
batch_size的设置
batch_size的大小通常设置为2的n次方,根据训练样本的大小进行对n进行确定。