- 博客(1)
- 收藏
- 关注
RSS订阅转载 Medusa（美杜莎）
推理飙升2倍！普林斯顿北大校友祭出多头「美杜莎」，33B模型与13B一样快大模型推理加速如何破局？普林斯顿、UIUC等机构华人团队提出一个简单框架Medusa，训练多个解码头，直接让LLM推理速度飙升2倍。由于LLM架构固有的内存限制，使得生成又慢又贵。对此，很多大佬都在寻找一种挽救的方法。Karpathy曾多次提出，大模...
2024-08-08 03:53:35
32
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人