LEARNING DIFFERENTIALLY PRIVATE RECURRENT LANGUAGE MODELS

 

以往的深度学习和差分隐私技术结合中神经网络模型大多数都比较小，如果将DP应用到大型网络中的话，由于复杂的模型结构，大量级的参数等等问题，将会导致模型性能下降严重。但是第一篇文章将差分隐私应用在了大型的循环神经网络模型当中， 保护LSTM语言模型的敏感信息，在联邦场景下下，添加用户级别的差分隐私，应用到下一个单词的预测中。验证了DP在RNN中也是可行的。并且在裁剪中，对于复杂网络，每一层的更新都可能有非常不同的L2范数，所以文章将每一层的参数视为一个单独的向量分别剪辑每一层，而不是给定一个全局的裁剪参数。