分布式机器学习
文章平均质量分 67
zhiaoo
这个作者很懒,什么都没留下…
展开
-
分布式训练遇到的问题
AllReduce架构All attempts to get a Google authentication bearer token failed, returning an empty token. Retrieving token from files failed with "Not found: Could not locate the credentials file.". Retrieving token from GCE failed with "Failed precondition:原创 2021-05-03 18:42:39 · 832 阅读 · 1 评论 -
分布式机器学习三
联邦学习联邦学习是机器学习最近的一个大热点,它是一种分布式机器学习。原创 2021-04-23 21:59:49 · 372 阅读 · 0 评论 -
分布式机器学习一
标量对向量求导,得到的梯度也是一个向量,梯度和变量w的维度一样求出的梯度是这N项的连加,梯度g(w)是w的一个函数。在不同位置上求出梯度也不一样,因为梯度跟w有关,所以并行训练时我们需要把w传来传去梯度写成g_i(w)连加,因为有n项,n个训练样本,每个g_i只与这个样本的x_i, y_i有关,与其他数据样本无关,这就时为什么做并行计算的时候可以把样本划分到多个机器上。每个机器只需要用本地的数据训练一个本地的g_i.沿着梯度方向会上升,反方向会下降。计算梯度g在w_t方向的梯...原创 2021-04-23 21:57:52 · 429 阅读 · 0 评论 -
分布式机器学习二
标量对向量求导,得到的梯度也是一个向量,梯度和变量w的维度一样求出的梯度是这N项的连加,梯度g(w)是w的一个函数。在不同位置上求出梯度也不一样,因为梯度跟w有关,所以并行训练时我们需要把w传来传去梯度写成g_i(w)连加,因为有n项,n个训练样本,每个g_i只与这个样本的x_i, y_i有关,与其他数据样本无关,这就时为什么做并行计算的时候可以把样本划分到多个机器上。每个机器只需要用本地的数据训练一个本地的g_i.沿着梯度方向会上升,反方向会下降。计算梯度g在w_t方向的梯...原创 2021-04-21 21:24:37 · 197 阅读 · 0 评论