- 博客(8)
- 收藏
- 关注
RSS订阅原创 关于《Symbolic Discovery of Optimization Algorithms》的解读
文章提出一种为程序搜索（program search）的算法，将其应用在发现深度神经网络训练的优化算法。我们利用高效的搜索技术来探索无限且稀疏的程序空间。为了弥合代理任务和目标任务之间巨大的泛化差距，我们还引入了程序选择和简化策略。我们的方法发现了一种简单有效的优化算法 Lion（EvoLved Sign Momentum）。它比 Adam 更节省内存，因为它只跟踪动量。与自适应优化器不同，它的更新对于通过符号运算计算的每个参数具有相同的幅度。
2024-06-07 17:41:49
842
原创 《FEDLION: FASTER ADAPTIVE FEDERATED OPTIMIZATION WITH FEWER COMMUNICATION》论文解读
FedLion: Faster Adaptive Federated Optimization with Fewer Communication 论文解读
2024-05-10 16:16:54
877
1
原创 CIKM 2021:《Differentially Private Federated Knowledge Graphs Embedding》
CIKM 2021:《Differentially Private Federated Knowledge Graphs Embedding》
2023-06-25 20:13:04
635
原创 联邦学习基础知识和概念（入门）
联邦学习是一种带有隐私保护、安全加密技术的分布式机器学习框架，旨在让分散的各参与方在满足不向其他参与者披露隐私数据的前提下，协作进行机器学习的模型训练。其设计目标是在保障大个人数据隐私、保证合法合规的前提下，在多参与方（可能是现实中的多个机构）或多计算结点之间协同学习到一个更好的全局模型。联邦学习的数据不共享，（加密后的）参数可共享，它可以基于server-client主从的中心化(centralized)结构，也可以是去中心化(decentralized)结构。
2023-06-11 19:04:58
6861
原创 解决mac idea2020打开闪退问题
解决mac idea2020打开闪退问题/Applications/IntelliJ\ IDEA.app/Contents/MacOS/idea可以查看报错信息我的大概是Error opening zip file or JAR manifest missing:jetbrains-agent.jarideaError occurred during initialization of VM agent library failed to init:instrument…按照如下命令删掉~/Li
2020-05-12 01:54:16
5684
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人