FATE —— 二.1.2.1 Hetero-NN异构神经网络

MMM881

已于 2023-01-11 19:44:27 修改

阅读量445

点赞数

分类专栏：联邦学习文章标签：神经网络人工智能深度学习 Powered by 金山文档

于 2023-01-06 17:14:41 首次发布

版权

28 篇文章 11 订阅

订阅专栏

神经网络可能是近年来最流行的机器学习算法。FATE提供了联邦异构神经网络实现。

这种联合异构神经网络框架允许多方联合进行具有部分重叠的用户样本但不同特征集的学习过程，这对应于垂直分区的虚拟数据集。Hetero NN的一个优点是它提供了与非隐私保护方法相同的准确度，同时不透露每个私有数据提供商的信息。

下图显示了提议的联邦异构神经网络框架。

乙方（Party B）：我们将乙方定义为同时持有数据矩阵和类标签的数据提供者。由于班级标签信息对于监督学习是不可或缺的，因此必须有一方能够访问标签y。乙方自然承担起联合学习中的主导服务器的责任。

甲方（Party A）：我们将只有数据矩阵的数据提供者定义为甲方。甲方在联合学习环境中扮演客户的角色。

数据样本在加密方案下对齐。通过使用数据库间交叉点的隐私保护协议，各方可以找到他们的共同用户或数据样本，而不会损害数据集的非重叠部分。

乙方和甲方各有自己的底层神经网络模型，可能会有所不同。双方共同构建交互层，这是一个完全连接的层。该层的输入是两方底部模型输出的串联。此外，只有乙方拥有交互层模型。最后，乙方建立了顶级神经网络模型，并将交互层的输出反馈给它。

正向传播过程由三部分组成。

乙方计算交互层输出的误差增量，然后更新顶层模型。

甲方对epsilon_acc进行加密，并将[epsilon_acc]发送给乙方，然后乙方对收到的值进行解密。甲方生成噪声epsilon_A，将epsilon_ A/eta添加到解密结果（delta_act*alpha_A+epsilon_-B+epsilon_A/eta），并将epsilon-A添加到累积噪声epsilon_acc（epsilon-acc+=epsilon/A）。甲方将相加结果发送给乙方（delta_act*W_A+epsilon_B+epsilon_A/eta）

乙方收到[epsilon_acc]和delta_act*alpha_A+epsilon_B+epsilon_A/eta。首先，它向A方发送A方的底部模型输出错误δ_act*W_A+acc]。其次，更新W_A-=eta*（δ_act*W_A+epsilon_B+epsilon_A/eta-epsilon-B）=eta*delta_act*W_A-epsilon_B=W_TRUE-epsilon_acc。其中W_TRUE表示实际权重。

第一部分第一部分

乙方和甲方分别更新其底部模型。下图显示了联邦异构神经网络框架的反向传播。

关注