Ollama介绍
用于启动并运行大型语言模型。
![e51925656effe2a1dff0c7cbd1c90c6b.png](https://img-blog.csdnimg.cn/img_convert/e51925656effe2a1dff0c7cbd1c90c6b.png)
GitHub地址:https://github.com/ollama/ollama
官方网站:https://ollama.com/
实践
根据README的指引,安装对应系统的Ollama。
由于我的电脑比较旧了,配置如下:
![5a21056695aa1a164588508c574cf078.png](https://img-blog.csdnimg.cn/img_convert/5a21056695aa1a164588508c574cf078.png)
所以就选择一个参数小一点的大模型,我选择的是phi3 3.8b的版本。
![af837782c4dd78519c4224a808b28db0.png](https://img-blog.csdnimg.cn/img_convert/af837782c4dd78519c4224a808b28db0.png)
在控制台输入:
ollama run phi3:latest
即可。
没下载这个模型会自动下载,下载好了就可以开始对话。
![2ed1ca6f38c3d1f709b0b508d80a4171.png](https://img-blog.csdnimg.cn/img_convert/2ed1ca6f38c3d1f709b0b508d80a4171.png)
对于开发者而言,还可以通过Ollama提供的接口来接入自己的应用:
![c8a0f1d5001e4160b8ae7741e1a332a5.png](https://img-blog.csdnimg.cn/img_convert/c8a0f1d5001e4160b8ae7741e1a332a5.png)
3.8b参数的大模型在我这台电脑上就已经跑的很慢了,尝鲜是可以的,真要使用如果没有离线的需求并且没有显卡还是使用云平台比较好,现在也有很多免费的模型使用了,而且收费的话个人使用也花不了多少钱。如果有显卡资源并且有离线使用的需求,可以考虑使用Ollama本地离线运行大模型。