分布式人工智能

分布式人工智能概述

背景

"在谈到分布式人工智能时，陈磊强调，分布式人工智能其实是一种公司内部的说法，并不是业界已有定论的概念。目前主流的 AI 能够把所有的数据都汇聚在一起，能够通过算法从数据里面找到一定的模式，为单体的消费者服务，而分布式的 AI 让消费者拥有数据的所有权。人工智能的数据量不仅要大，而且可以是多维度的，只有当数据被消费者自身所拥有时，消费者才有动力把多维度的数据收集起来。" —— from PDD

中心学习的问题

中心学习会遇到这些问题：

个性化数据在本地，涉及到隐私，无法获取。但是我们又有很多更加个性化的机器学习模型的诉求，例如，

• 老人和小孩的联邦人类活动识别模型中，老人的模型一定不同于小孩的模型，因为老人动作缓慢
• NLP中的文本生成模型，每个人都有自己喜欢用的词语，而全局模型生成的文本一模一样，不具有个性化手
• 写数字图像分类中，有人写数字5时喜欢画圆，有的喜欢画线条，全局模型在不同用户设备上应该分化为专门的模型

是否能生成个性化的模型，以适合本地数据，提高准确率？分布式人工智能可能是一个路径。先看看什么是分布式学习。

分布式学习是什么

分布式机器学习：包括把机器学习中的训练数据分布式存储、计算任务分布式运行、模型结果分布式发布等。

联邦学习

分布式机器学习有一个中心点，而联邦学习的参与者各自是一个中心点，有几个参与的用户，就有多少个中心点。联邦学习可以利用用户的本地数据、本地设备，在本地并行分布式的训练模型，且无需上传用户的隐私数据。

什么是联邦学习

横向联邦学习（样本相同，特征重叠）

横向联邦学习是两个参与方拥有不同样本的相同特征，比如两个参与方都拥有用户的年龄、性别等，但是用户并不相同（Google输入法）。在这种模式下，每个参与方都可以拥有整个模型，但是各自用不同的数据更新模型，最终汇总模型的梯度来训练模型，这与分布式机器学习中的模型数据并行训练方式类似。

应用场景：Gboard输入法

词汇预测（24%+准确率）、错词修正、表情预测（11%+CTR）

纵向联邦学习（特征不同，样本重叠）

纵向联邦学习有两个参与方，各自拥有同一条样本的不同特征，比如一个参与方拥有用户浏览历史，另一个参与方拥有购买历史（头条广告）。在这种情况下，我们可以在两个集群各跑一部分模型，通过跨集群的方式交换中间结果，来达到训练一个模型的效果，这与机器学习中模型并行的训练方式类似。

应用场景：字节广告应用

联邦迁移学习

联邦迁移学习适用于两个数据集不仅在样本上而且在特征空间上都不同的情况。

应用场景：国内国外银行用户征信

考虑两个机构，一个是位于中国的银行，另一个是位于美国的电子商务公司（国际化）。由于地理位置的限制，两个机构的用户群体之间的交叉点很小。另一方面，由于业务不同，双方的特征空间只有一小部分重叠。在这种情况下，可以应用迁移学习技术为联邦之下的整个样本和特征空间提供解决方案。

什么是个性化联邦学习

联邦学习的FedAvg产生的全局模型，并不适合数据、模型、task等的异构性，要解决这些异构性，就只能为每个设备生成独一无二的个性化模型。《Survey of Personalization Techniques for Federated Learning》对联邦学习在个性化场景下的应用有很多应用，比如：

1. 增加用户上下文

1. 1. 如果用户数据中包含了用户个人信息，基于此训练出的全局模型也能有很好的个性化预测。
   2. user clustering 将相似用户集中为一组，为每组定制模型

2. 联邦迁移学习

全局模型学到低层次的特征，再重新训练模型，改变高层次模型，使其个性化。

3. Base+personallization layer

先在全局数据上训练全局层，再在本地数据上训练本地层，避免了迁移学习重新训练的问题