- 博客(2)
- 收藏
- 关注
RSS订阅原创 bigdl-llm开发语音识别服务器
BigDL-LLM提供了多种低比特优化选择（比如INT3/NF3/INT4/NF4/INT5/INT8），并允许你在多种Intel平台上演示LLM，包括入门级笔记本（只使用CPU）、配备Intel Arc独立显卡的高端电脑、至强服务器，或者数据中心GPU（如Flex、Max）。它在Intel平台上拥有广泛的模型支持，最低的延迟和最小的内存占用。最近发现一个不错的量化库-bigdl-llm,他可以帮助开发者在英特尔的cpu上快速的跑大模型,他还支持langchian。保存和加载轻量后的模型。
2024-03-23 18:58:24
1105
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人