- 博客(2)
- 收藏
- 关注
RSS订阅原创 Ollama ubuntu多线程推理
默认运行的后端默认线程为1，无法开启多线程，可以输入如下命令，关闭默认后台。然后在任意目录下新建ollama_serve.sh文件，填入如下命令。开启ollama服务后，可以直接使用ollama的命令从官网下载模型。Ollama官网：Download Ollama on Linux。这里我使用的是llama3:8b-text-fp16，在终端输入。控制ollama后端最大部署模型数量（同时部署多种模型）表明现在正在运行Ollama后端，但里面没有模型。安装ollama后，在命令行中输入。
2024-07-01 14:28:01
895
原创 【Ubuntu 20.04安装和深度学习环境搭建 4090显卡】
Ubuntu20.04 | 显卡驱动 | CUDA | CUDNN 安装 | 4090
2023-07-18 18:28:43
10401
5
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人