Krum聚合算法Byzantine-Tolerant Machine Learning

Krum在若干个局部模型中选择一个与其他模型都相似的模型作为全局模型。具体而言,将梯度与其他梯度的范数距离的和作为该梯度的得分,然后选取得分最低者,即和大多数梯度都相似的梯度作为聚合梯度。

Krum算法不会影响模型的正常收敛,并且在攻击者控制客户端的占比不超过50%的情况下能保证模型的鲁棒性。

m-Krum

简洁的Krum算法只选择了一个梯度向量。事实上,服务器可以通过选择更多的梯度向量避免浪费掉其他参与方的努力。实现手段:执行一次Krum算法,将得到的梯度从总的里面剔除,然后迭代若干次。

 

 

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
KRUMKrum filter)算法是一种基于排名的去除异常值的算法。它的原理是通过计算每个数据点与其他数据点的距离,然后选取距离最短的数据点作为最终结果,从而去除异常值的影响。 算法步骤如下: 1. 计算每个数据点与其他数据点的距离; 2. 对于每个数据点,将其与其他数据点的距离进行排序; 3. 对于每个数据点,计算其与其他数据点的平均距离; 4. 对于每个数据点,计算其与其他数据点的标准差; 5. 对于每个数据点,计算其与其他数据点的平均距离加上一个标准差; 6. 选取距离最短的数据点作为最终结果。 代码实现如下: ```python import numpy as np def krum_filter(X, k=2): ''' X: 2D array, shape (n_samples, n_features) k: int, the number of neighbors to consider ''' n_samples = X.shape[0] dist_matrix = np.zeros((n_samples, n_samples)) for i in range(n_samples): for j in range(n_samples): if i == j: continue dist_matrix[i, j] = np.linalg.norm(X[i] - X[j]) k_neighbors = np.argpartition(dist_matrix, k+1, axis=0)[:k+1, :] k_neighbors = np.delete(k_neighbors, np.where(k_neighbors == np.arange(n_samples).reshape(-1, 1)), axis=1) scores = np.zeros(n_samples) for i in range(n_samples): k_distances = dist_matrix[i, k_neighbors[:, i]] k_distances = np.delete(k_distances, np.where(k_distances == 0)) mean_distance = np.mean(k_distances) std_distance = np.std(k_distances) scores[i] = mean_distance + std_distance return X[np.argmin(scores)] ```

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值