文章目录
from: https://www.bilibili.com/video/BV1k7411m7JG/?spm_id_from=trigger_reload
https://www.youtube.com/watch?v=Aga2Lxp3G7M
转载,原作者Shusen Wang。
主要内容:
1:02 Parameter Server,以及用Parameter Server实现异步梯度下降。
8:27 Decentralized Network, 以及用Decentralized Network实现梯度下降。
15:39 Parallel Computing和Distributed Computing的异同。