fastllm
文章平均质量分 87
aiotud
人工智能Developer
展开
-
fastllm在CPU上推理ChatGLM3-6b,即使使用CPU依然推理速度很快,就来看这篇文章
GitHub - ztxz16/fastllm: 纯c++的全平台llm加速库,支持python调用,chatglm-6B级模型单卡可达10000+token / s,支持glm, llama, moss基座,手机端流畅运行纯c++的全平台llm加速库,支持python调用,chatglm-6B级模型单卡可达10000+token / s,支持glm, llama, moss基座,手机端流畅运行 - ztxz16/fastllmfastllm是纯c++实现,无第三方依赖的高性能大模型推理库。原创 2024-03-30 22:01:04 · 1012 阅读 · 0 评论 -
fastllm在CPU上推理ChatGLM2-6b,即使使用CPU依然推理速度很快,就来看这篇文章
GitHub - ztxz16/fastllm: 纯c++的全平台llm加速库,支持python调用,chatglm-6B级模型单卡可达10000+token / s,支持glm, llama, moss基座,手机端流畅运行纯c++的全平台llm加速库,支持python调用,chatglm-6B级模型单卡可达10000+token / s,支持glm, llama, moss基座,手机端流畅运行 - ztxz16/fastllmfastllm是纯c++实现,无第三方依赖的高性能大模型推理库。原创 2024-03-30 13:32:22 · 949 阅读 · 0 评论