【大论文】文献阅读——学术期刊

1.基于分布式卷积神经网络的车型识别算法研究_董伊明2019_河南科技

异步框架（+分组技术）+SGD算法，降低梯度延迟
改进Dis-CNN
将前向传播损失函数计算的误差值与自定义阈值b进行对比，根据阈值b划分小组。小于b说明识别精度高，分配权重0.55，否则权重为0.45。以小组为单位合并slave端的通信数据。

2.一种改进的分布式同步梯度下降法_李梁2021_重庆理工大学学报

同步框架+SGD算法+修改数据分配机制，解决节点互相等待问题，提高训练速度
举例：一个size为500的batch，2个性能差距较大的GPU对batch进行计算，那么它们的时间差肯定是大于size为50的batch。
存在问题：不能一味地把batch设置小，因为这会对准确度有所影响。
解决方法：对训练样本进行切分时，修改batch的size，如将1个size为500的batch替换成10个size为50的batch，等这10个batch的梯度全部计算完成之后才开始更新，这样就不会对准确率有影响。