前言
此前写过2篇关于大模型思考的文章:《浅谈大模型时代的后台技术发展》、《AGI 时代的破局之道 》;对于大模型的本地部署和使用,下面我们了解一下。
Ollama是什么?
一个本地部署运行大模型的工具,一行命令一键启动,支持linux、windows和mac操作系统的安装。
Ollama支撑哪些大模型?
访问:https://ollama.com/library,列表下的大模型,它都支持。
Ollama运行大模型的配置?
Ollama只是工具,部署不同的大模型,都对我们本地环境有不同的配置要求(内存大小、CPU、GPU等等),下面举例子:
Model(大模型) | Parameters(参数) | Size(体积) | Download(运行指令) |
Llama 3.1 | 8B | 4.7GB | ollama run llama3.1 |
Llama 3.1 | 70B | 40GB | ollama run llama3.1:70b |
Llama 3.1 | 405B | 231GB | ollama run llama3.1:405b |
Phi 3 Mini | 3.8B | 2.3GB | ollama run phi3 |
Phi 3 Medium | 14B | 7.9GB | ollama run phi3:medium |
Gemma 2 | 2B | 1.6GB | ollama run gemma2:2b |
Gemma 2 | 9B | 5.5GB | ollama run gemma2 |
Gemma 2 | 27B | 16GB | ollama run gemma2:27b |
Mistral | 7B | 4.1GB | ollama run mistral |
Moondream 2 | 1.4B | 829MB | ollama run moondream |
Neural Chat | 7B | 4.1GB | ollama run neural-chat |
Starling | 7B | 4.1GB | ollama run starling-lm |
Code Llama | 7B | 3.8GB | ollama run codellama |
Llama 2 Uncensored | 7B | 3.8GB | ollama run llama2-uncensored |
LLaVA | 7B | 4.5GB | ollama run llava |
Solar | 10.7B | 6.1GB | ollama run solar |
Ollama下载的大模型在本地存储位置?
mac地址:/Users/xxx/.ollama/models
windos和linux在官网可查到地址说明,这里只用mac进行说明。
ModelFile是什么?有什么作用?
用来创建自定义模型,作为一个配置文件去指定模型推理相关设置。
比如,我们要对大模型进行微调,需要修改模型推理的参数,此时要重新创建模型,可以通过modelfile调整参数来实现。
是否有Web_UI工具,方便进行交互式访问?
有的,仓库地址:https://github.com/ollama-ui/ollama-ui
安装完成之后,访问:
http://localhost:8000/?model=llama3%3Alatest
如何评价一个大模型的快慢?
每秒钟的生成多少个TOKEN,来对大模型进行评价。
-
看日志
mac日志位置:/Users/xxx/.ollama/logs
Ollama的请求debug信息怎么看?
-
在mac日志文件可以看到。
怎么评价大模型精度?
-
人工评价
-
测试集评价
-
利用其他大模型进行评价