fake_face的博客

文章提出一种为程序搜索（program search）的算法，将其应用在发现深度神经网络训练的优化算法。我们利用高效的搜索技术来探索无限且稀疏的程序空间。为了弥合代理任务和目标任务之间巨大的泛化差距，我们还引入了程序选择和简化策略。我们的方法发现了一种简单有效的优化算法 Lion（EvoLved Sign Momentum）。它比 Adam 更节省内存，因为它只跟踪动量。与自适应优化器不同，它的更新对于通过符号运算计算的每个参数具有相同的幅度。

CIKM 2021:《Differentially Private Federated Knowledge Graphs Embedding》

联邦学习是一种带有隐私保护、安全加密技术的分布式机器学习框架，旨在让分散的各参与方在满足不向其他参与者披露隐私数据的前提下，协作进行机器学习的模型训练。其设计目标是在保障大个人数据隐私、保证合法合规的前提下，在多参与方（可能是现实中的多个机构）或多计算结点之间协同学习到一个更好的全局模型。联邦学习的数据不共享，（加密后的）参数可共享，它可以基于server-client主从的中心化(centralized)结构，也可以是去中心化(decentralized)结构。