树莓派5运行大语言模型 Mistral 7B

博主第一次在CSDN上发布文章，最近几期会基于树莓派5这个硬件平台做一些AI（尤其是大模型的部署）上应用，希望大家多多支持。

本文是复现国外博主在树莓派5上运行Mistral 7B，链接如下：

https://github.com/adamcohenhillel/run-llm-on-raspberry-pi

一、硬件配置

我用的是8GB内存的树莓派5，以及128GB的SD卡。

参照官方安装流程安装Raspberry PI OS，具体流程不在此赘述。

可下载Raspberry PI Imager 软件，并按照步骤进行SD卡烧录。

二、运行Mistral 7B

在国外博主的描述中，是可以用两种方式在树莓派5上运行Mistral 7B。

一个是用 Ollama 来运行大语言模型。Ollama 是一个开源工具，透过它提供简单的安装指令和命令行界面，在本地运行大语言模型会变得更加简单和快捷。

另一个就是用 llama.cpp 运行，它是一个用 C++ 编写的高效的推理工具，用于在 CPU 上运行 Meta AI 的 Llama。

先从Ollama开始：

1、安装Ollama

curl -fsSL https://ollama.com/install.sh | sh

2、下载并运行模型

ollama run mistral

3、运行结果

再来一个视频：。。。CSDN审核视频是是真的慢啊，所以还是贴一个我上传的B站视频

树莓派5跑AI大模型_哔哩哔哩_bilibili

本篇暂时不介绍第二种，因为实际跑的过程中，没有方式一速度快，会在下一篇做详细讲解。

并且下一篇开始，我会在树莓派5上运行Llama3大模型，敬请期待。