对比近期发布的几个小模型,sLLM的天花板在哪里?

本文对比分析了Google的Gemma模型、清华大学的MiniCPM和微软的Phi系列小模型,探讨了在有限参数量下如何挖掘小模型的潜能。Gemma在数学和代码能力上表现出色,而MiniCPM通过模型沙盒实验和精细数据策略展现出强大的性能。Phi系列则凭借高质量数据和细致的数据工程超越了更大模型。研究表明,sLLM的天花板尚未触及,仍有很大提升空间。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

30a136a5f690c8b29232035b6fb39ad0.gif

©PaperWeekly 原创 · 作者胡翔

单位 | 中国人寿研发中心

研究方向 | 对话系统、LLM

2024 是大模型落地应用的关键年,接下来会看到更多从硬件、架构、算法等方面极限挖掘大模型效率的探索。众人拾柴火焰高,相信在大家共同的开源努力下,我们可以更快奔向 AGI 的目标。 

——摘自刘知远老师最近对 Google 发布 Gemma 后发的一条朋友圈


写在前面:Google 最近也劲爆放出 Gemma 模型,尽管体量较小,但对比的包括 Llama-2 7B 和 13B,以及风头正劲的 Mistral 7B,其已经在关键基准测试中明显超越了更大的模型。大家都在感叹最强的开源模型易主了。

本文对国内外几个代表性的 sLLMs 进行调研分析,主要解决心中的一些疑惑:

1. 有哪些策略可以充分挖掘 sLLM 的潜能?

2. sLLM 的天花板能到哪?

3. 对于 sLLM 我们有哪些期待?

271613cbcd1cc91fd3f0abdca3d1c83b.png

清华MiniCPM

MiniCPM-2B 参数量为 2.4B,主打端侧部署,其特点是采用了很多策略充分挖掘了 sLLM 的潜力,MiniCPM-2B 的模型在综合性榜单上与 Mistral-7B 相近,整体性能超越了 Llama2-13B、MPT-30B、Falcon-40B 等模型。在 MTBench 榜单上,MiniCPM-2B 也超越了多个代表性开源大模型。

68bb452e20c03738d3d63ba55edfe0fd.png

其挖掘小模型性能的主要策略如下,详情可参考 [1]:

模型沙盒实验:在小模型上进行广泛的实验,通过可迁移的配置,获得大模型的最优训练方法。其在 Hyper-parameters、Batch size、Learning Rate、Learning Rate Scheduler、Data Strategy 五个方面进行了模型沙盒研究,充分挖掘了 sLLM 的潜能。

更细致的数据策略:在预训练阶段只使用通用、量大的预训练粗质量数据,而在退火阶段,使用非常广泛的高质量知识和能力数据以及 SFT 的高质量数据,混合入预训练数据进行退火。实验结果表明在退火开始时加入高质量数据的收益远高于在退火完成后的 sft 阶段加入。

0cd92724d99bbe092ea79c7f8fd1bf75.png

sLLM 的上限在哪?

MiniCPM 在实验的过程中,尝试对模型性能与计算量进行拟合,分析并预测模型里的理论 loss 值。其认为如果用他们 WSD 调度器训练策略,在消耗等量计算量时,可以达到约 5 倍模型参数量的 Chinchilla-Optimal 模型(训练数据量为模型参数量的 20 倍)。而持续训练下去,有可能超越更大的 Chinchilla-Optimal 模型。

812d8fbd5b3526df6d6430fda95b7c74.png

Github OpenBMB/MiniCPM

https://github.com/OpenBMB/MiniCPM 

MiniCPM:揭示端侧大语言模型的无限潜力 

https://shengdinghu.notion.site/MiniCPM-c805a17c5c8046398914e47f0542095a

内容概要:本文详细介绍了基于结构不变补偿的电液伺服系统低阶线性主动干扰抑制控制(ADRC)方法的实现过程。首先定义了电液伺服系统的基本参数,并实现了结构不变补偿(SIC)函数,通过补偿非线性项和干扰,将原始系统转化为一阶积分链结构。接着,设计了低阶线性ADRC控制器,包含扩展状态观测器(ESO)和控制律,用于估计系统状态和总干扰,并实现简单有效的控制。文章还展示了系统仿真与对比实验,对比了低阶ADRC与传统PID控制器的性能,证明了ADRC在处理系统非线性和外部干扰方面的优越性。此外,文章深入分析了参数调整与稳定性,提出了频域稳定性分析和b0参数调整方法,确保系统在参数不确定性下的鲁棒稳定性。最后,文章通过综合实验验证了该方法的有效性,并提供了参数敏感性分析和工程实用性指导。 适合人群:具备一定自动化控制基础,特别是对电液伺服系统和主动干扰抑制控制感兴趣的科研人员和工程师。 使用场景及目标:①理解电液伺服系统的建模与控制方法;②掌握低阶线性ADRC的设计原理和实现步骤;③学习如何通过结构不变补偿简化复杂系统的控制设计;④进行系统仿真与实验验证,评估不同控制方法的性能;⑤掌握参数调整与稳定性分析技巧,确保控制系统在实际应用中的可靠性和鲁棒性。 阅读建议:本文内容详尽,涉及多个控制理论和技术细节。读者应首先理解电液伺服系统的基本原理和ADRC的核心思想,然后逐步深入学习SIC补偿、ESO设计、控制律实现等内容。同时,结合提供的代码示例进行实践操作,通过调整参数和运行仿真,加深对理论的理解。对于希望进一步探索的读者,可以关注文中提到的高级话题,如频域稳定性分析、参数敏感性分析等,以提升对系统的全面掌控能力。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值