深度学习算法由于数据量非常大、算法复杂度高等特点,常常需要采用并行机制。
常用的并行化深度学习模型训练方式有两种:同步模式和异步模式。
深度模型训练方法
深度学习模型的训练是一个迭代的过程,在每一轮迭代过程中,前向传播算法会根据当前参数的取值,计算出在一小部分训练数据上的预测值,然后反向传播算法,再根据损失函数计算参数的梯度并且更新参数。
异步模式训练方法
在并行化地训练深度学习模型时,不同设备(GPU或CPU)可以再不同训练数据上,运行整个迭代的过程,而不同并行模式的区别在于不同的参数更新方式。
异步模式训练流程图如下:
* 在每一轮迭代时,不同设备会读取参数最新的取值
* 因为设备不同,读取参数取值时间不一样,所以得到的值也可