u013590327的博客

神经网络的训练梯度下降法学习率： 步长更大= 学习率更高误差函数不断减小。如果训练数据过多， 无法一次性将所有数据送入计算。现将数据分成几个部分： batch分多个 batch , 逐一送入计算训练Epoch一个epoch , 表示： 所有的数据送入网络中， 完成了一次前向计算 + 反向传播的过程。由于一个epoch 常常太大， 分成 几个小的 baches .将所有数据迭代训练一次是不够的， 需要反复多次才能拟合、收敛。在实际训练时、 将所有数据分成多个batch..

以pytorch为例子，2D卷积在设置的时候具有以下参数，具有输入通道的多少（这个决定了卷积核的通道数量），滤波器数量，这个是有多少个滤波器，越多提取的特征就越有用，kernel_size,这个是卷积核的大小，相当于一个观测器的大小，越大参数越大其实是越强。

神经网络的GFLOPS（Giga FLoating-Point Operations Per Second）代表了神经网络模型执行计算的速度和计算能力。想象你有两个数学家，他们都能够解决复杂的数学问题，但一个速度非常快，另一个速度较慢。GFLOPS就像用来衡量他们速度的标尺。数学家A的GFLOPS是10，这意味着他每秒钟可以解决10亿个数学问题。数学家B的GFLOPS是100，这意味着他每秒钟可以解决100亿个数学问题，比数学家A更快。

【代码】深度学习基础之参数量（3）