手机部署大模型

linux,win同理,手机也是一样
我以手机举例, 刷入青龙模块,自带debian
没有root就用termux,我没用过
容器官方版下载丨最新版下载丨绿色版下载丨APP下载-123云盘
然后连接ssh, root 密码123456
手机工具:文件,密码:cen8

1.下载ollama,相当于是个本地框架,用来管理模型的 我不知道要不要科学环境
官网https://ollama.com/download
linux直接复制
curl -fsSL https://ollama.com/install.sh | sh
然后完事输入ollama

是不是很像docker?
ollama我试了2个, 一个是阿里的qwen2:1.5b,一个是谷歌的gemma2:2b,你想用别的去官网下载
----------------------
下载模型的话输入命令
ollama run qwen2:1.5b
ollama run gemma2:2b

如果提示Error: could not connect to ollama app, is it running?
你就输入ollama serve启动服务先, 不要断开ssh, 用另一个ssh窗口连接
然后再执行上面的命令就可以下载模型了
----------------------
阿里的,很垃圾,, 速度还可以接受

如果回复慢想终断他说话,ctrl+c,想退出ctrl+d