蹭下Llama3.1 | 今天有趣的两条曲线

相信今天在大家的各种圈中都会飘散着一张包含有趣的两条曲线的趋势图～

我想除了在当前时间节点上我们可以看到两条曲线比较明显的交汇以及所显而易见的意义外，从两条曲线的历史轨迹中其各自曲率的大小以及方向的变化，兴许能看出一些更有意思的事情：

① 从下曲线的整体曲率方向来看，可以看出“开源”阵营在长周期上正在非常积极的加速追赶，从前半程曲线斜率的平稳程度来看，这一阵营似乎从早期某种懵懵的状态下找到了当下scaling law(sl)阶段step by step(sbs)的舒适区，在后半程多个阶段点的斜率递增表现出更高的技术壁垒在加速打破，甚至可以用llm的涌现来形容，至于为什么就见仁见智了:)，以至于未来是维持当下的sbs缓慢演进还是能够实现在交汇点对闭源阵营的真正突破还需拭目以待，我个人比较倾向于sbs持续下的小幅超越，当然两方阵营的阶段性静默也是有很大可能的，原因可能是真的遇到挑战和瓶颈或是处于某种黑暗前黎明的下一轮爆发。

② 对于上曲线，考虑可参考重要节点的稀疏性对于曲线拟合的偏差，但我们仍能明显直觉的通过坐标中的分布判断出其整体曲率方向和斜率的趋缓所映射出sl的些许挑战或其它瓶颈，就看openAI的🍓计划或其它不为人知的行动能不能打破魔咒了，考虑到openAI与幽白里幽助憋灵丸大招的相似，所以情怀上还是对GPT5非常期待。

③ 对于未来“开源”阵营们能不能继续维持当下曲线斜率的sba增长和openAI的大灵丸爆发，就要看整体上llm的路线是不是做到了探索与利用的充分平衡了，希望不要陷入局部最优..

ps：哦对，这里也要补充一下我对所谓开源的一些看法：我们从图中也可以看出，两条曲线对应的是所谓的closed-source vs. open-weight，而仅仅是open-weight对实际的学术与技术价值意义有多大呢？感觉还是透露着对上游向上竞争的一种诡秘策略或者信念干扰..当然在物竞天择下的实力面前这无可厚非，同时对于当下在GenAI的产业应用下也还是有一些正面意义和价值的，比如模型权重的开源以及模型带来的多语言、多模态、工具调用以及推理能力的延展等所体现出对工程角度的原生透明化也许可进一步加速上层应用创新和实践，呃，也许只是也许，也并不意味着闭源对于原生应用的加速推动没有积极的意义，当然也不能否认这种“开源”对应用的构建带来的潜在技术路线选择的成本风险，这个就太难预测了..