- 博客(1)
- 收藏
- 关注
原创 树莓派5运行大语言模型 Mistral 7B
Ollama 是一个开源工具,透过它提供简单的安装指令和命令行界面,在本地运行大语言模型会变得更加简单和快捷。另一个就是用 llama.cpp 运行,它是一个用 C++ 编写的高效的推理工具,用于在 CPU 上运行 Meta AI 的 Llama。博主第一次在CSDN上发布文章,最近几期会基于树莓派5这个硬件平台做一些AI(尤其是大模型的部署)上应用,希望大家多多支持。在国外博主的描述中,是可以用两种方式在树莓派5上运行Mistral 7B。我用的是8GB内存的树莓派5,以及128GB的SD卡。
2024-06-13 20:48:02 876
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人