- 博客(56)
- 收藏
- 关注
RSS订阅原创 【进化算法】遗传与基因
或者说进化算法是仿照生物进化过程，按照优胜劣汰的自然选择优化的规律和方法，来解决科学研究、工程技术及管理等领域用传统的优化方法难以解决的优化问题。它是模拟达尔文的遗传选择和自然淘汰的生物进化过程的计算模型，其目的：一是抽取和解释自然系统的自适应过程；遗传算法能够应用于各种优化问题，如工程优化、调度问题、机器学习中的超参数优化、函数优化、组合优化、生产调度问题、自动控制、机器人学图像处理、多机器人路径规划等领域。控制生物遗传的物质单位称为基因，因此，遗传算法是在基因的水平上模拟生物的进化行为。
2024-01-02 20:11:35
1552
原创 【RLChina2023】CCF 苏州 记录
本博客记录了本人2023年11月24-26日为期三天的RLChina会议收获，文章只做简单记录，如有侵权联系作者会立刻删除。
2023-11-27 21:51:42
9276
原创 【智能优化算法】从蚁群到动物园
人们从自然界的多种生物、昆虫、动物、植物等的生存、繁衍过程以及自然现象、水循环、生态平衡等过程中，发现了其中蕴含着大量的信息处理的优化机制和机理。于是人们从模拟这些优化机制、优化机理出发，提出了数以百计的不依赖被优化问题数学模型的优化算法。
2023-11-21 21:59:28
12938
原创 FedAT：分层机制更新的联邦学习
联邦学习（FL）涉及在大规模分布式设备上训练模型，同时保持本地训练数据私有化。这种形式的协作学习需要考虑模型的收敛速度，准确性，客户端之间平衡问题和通信成本多方面的新权衡。
2023-11-01 22:31:39
11148
原创 分治法求解多项式乘法
传统的多项式乘法采用暴力求解的复杂度为 O（n^2）,本文探讨了一种基于快速傅里叶变换并且复杂度为 O（nlogn）的求解方法
2023-10-30 23:58:28
11057
原创 主定理（一般式）
主定理（Master Theorem）是用于分析递归算法时间复杂度的一个重要工具。它适用于形式化定义的一类递归关系，通常采用分治策略解决问题的情况。
2023-10-29 22:47:14
14346
原创 【笔录】TVP技术沙龙：寻宝AI时代
大模型是10倍的机会，但并不是平均主义的机会，没有低垂的果实。企业想在大模型的赛道上跑出成绩，应该怎么做，又要选择哪些赛道？
2023-10-28 22:27:57
11156
原创 Janus: Data-Centric MoE 通讯成本分析（2）
在之前的blog中，我们学习了Janus的理论基础和模型搭建。通过以数据为中心的范式思路和巧妙的读取测略，Janus极大的减少了算法的通讯成本。本篇blog将从数学的角度定量解读Janus是如何降低通讯开销的。
2023-10-23 21:25:36
10208
原创 Janus: 逆向思维，以数据为中心的MoE训练范式（1）
常见的MoE架构都以专家为中心，通过将专家保留在合适的位置，并交换中间数据以满足专家的需求。那么如果调换一下专家和数据的位置关系，会有什么神奇的现象发生呢？基于这个猜想，诞生了Janus以数据为中心范式——保持数据在适当的位置，并在gpu之间移动专家。这个猜想的合理处在于，如果专家的规模小于数据规模，那么以数据为中心的范式可以减少交流的工作量。
2023-10-20 21:25:25
10973
1
原创 MMoE: 基于多门专家混合的多任务学习任务关系建模
Multi-task Learning with Multi-gate Mixture-of-Experts
2023-10-19 20:54:18
13040
原创 Single-gated MoE : CV领域MoE模型应用
大规模MoE条件模型的成功引发了这样一个问题:对于规模更小的数据集和架构，是否也可以得到类似的结果?本文建议人们重新审视简单的单门混合专家模型，因为它允许人们进行更多的实践训练。
2023-10-11 20:24:32
8835
原创 创作第512天
我是一个很喜欢分享的人，我觉得技术就是共享的，你分享你的技术点给我，我分享我的技术点给你，那么就是1 + 1 > 2的效果。在进入研究生阶段，我打算用博客的方式记录我的科研路程。
2023-10-09 10:13:40
11611
1
原创 SE-MoE：可拓展分布式MoE训练及推理框架（百度）
百度团队提出了一个新的混合专家(MoE)模型的训练和推理框架：SE-MoE。文章解决了MoE模型在计算、通信和存储方面的挑战和局限性。
2023-10-08 18:25:22
14324
1
原创 HET: 基于缓存的分布式可扩展大型嵌入模型训练
现有的分布式训练框架面临着嵌入模型的可扩展性问题，因为从服务器更新和检索共享的嵌入参数通常占训练周期的主导地位。如何克服通信导致的高成本瓶颈，HET给出了它的答案。
2023-10-07 22:12:05
13575
1
原创 Learning@home：大模型分布式训练范式
如何在不可靠的硬件上训练大型神经网络。作者提出了这样一个希冀：研究人员和实践者将能够联合起来，共同解决最大的问题，而不是进行孤立的实验。大模型训练不再局限于一台超级计算机，而是随着世界各地越来越多的人和组织的加入，自然增长。
2023-10-06 16:34:16
16918
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人