讲座笔记 Federated GBDT

新加坡国立大学Bingsheng He老师的讲座，主要内容是如何更好构建GPU架构来加速训练ML模型以及最近对联邦学习的一些探索。

现在联邦学习中保护用户隐私的算法主要是两类：一类是HE，但计算效率很低，另一类是DP，但会对模型准确率造成影响。很自然的引出一个问题，是否能换一种方法，既能够保证计算效率，又不损害模型准确率？因此他们想到可以利用LSH，将数据映射到buckets中，对一个bucket中的数据，只计算一次梯度，那么相比之前的方法，计算时间是原来的1/N，N取决于bucket中样本的个数，受LSH算法控制。所以在计算效率上是可以保证的。在安全方面，双方通过bucket的id对齐，只要满足双方feature space是一样的前提条件即可，并不涉及到用户id直接对齐，也保护了用户数据的隐私性。

个人认为这是一种很有意思的想法，绕过了传统的加密算法，利用哈希做一个group matching的操作来保证一定的安全性。