第二十四篇-Ollama-在线安装

原创 已于 2024-06-11 00:49:09 修改 · 2.8k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #chatgpt #llama

于 2024-04-27 09:52:21 首次发布
博客围绕Ollama展开，介绍了其在线、离线安装方式，还提及下载运行模型、open-api请求等内容。同时给出监听本地IP与端口、加载本地模型文件等操作，并且展示了在TeslaP40上不同模型版本的运行速度。

ollama-在线安装，运行速度相当不错

环境

系统：CentOS-7
CPU: 14C28T
显卡：Tesla P40 24G
驱动: 515
CUDA: 11.7
cuDNN: 8.9.2.26

安装

curl -fsSL https://ollama.com/install.sh | sh
等待下载

下载运行模型

ollama run qwen:0.5b-chat-v1.5-q4_1
国内也可以下载的

看到如下内容
success 
>>>
可以输入对话内容了
比如
	介绍自己

open-api请求

curl http://localhost:11434/api/chat -d '{
	"model": "qwen:0.5b-chat-v1.5-q4_1",
	"messages": [
		{ "role": "user", "content": "介绍一下北京景点?" }
	]
}'

curl http://localhost:11434/api/generate -d '{
	"model": "qwen:0.5b-chat-v1.5-q4_1",
	"prompt":"介绍一下北京景点?"
}'

性能

1C2G服务器上运行qwen0.5b-v1.5速度超快，1.8B就不行了很慢，如何升级更高
4c8G服务器上运行

模型版本信息获取

https://ollama.com/library
可以在这里找打所有模型，并查看指定版本命令

第二十四篇-Ollama-在线安装
第二十五篇-Ollama-离线安装
第二十六篇-Ollama-监听本地IP与端口
第二十七篇-Ollama-加载本地模型文件
第二十八篇-Ollama-TeslaP40-Ollama-8B-Qwen1.5-32B等速度
第三十篇-Ollama-TeslaP40-Ollama-Qwen2-57B等速度

大模型之Spring AI实战系列（四十三）：Spring Boot + Ollama （Tool Calling）实现工具调用与对话记忆功能
寻道AI，探索AI无限可能！
07-24 1080
在上一篇文章中，我们介绍了如何使用 Spring AI 框架实现智能工具调用功能，通过 `FunctionToolCallback` 扩展了 AI 助手的能力。本文将继续深入，介绍如何通过 **ChatMemory** 和 **ToolCallingManager** 实现更复杂的工具调用和对话记忆功能。
终于！ollama可以调用llama3.2-vision了
wutao22的博客
11-08 1509
从9月24日Meta发布llama3.2以来，已经过了一个半月，虽然在发布的第二天，ollama就可以调用llama3.2-3B模型，但是没有办法使用llama3.2-vision，好在昨天ollama发布了0.4.0版本，正式支持vision版本，所以话不多说，我们来正式体验一下。不知道如何使用ollama的朋友可以参考我之前的文章《只需 1 分钟|拥有本地运行的大型模型|调用大模型的浏览器插件...
离线环境下安装Ollama
keyboard专栏
12-24 7228
准备文件：在有外网的环境中下载并传输等相关文件。修改脚本：修改安装脚本中的curl下载命令，将其指向本地文件路径。执行安装：在离线环境中执行修改后的安装脚本。手动启动：如果不使用systemd，可以手动启动 Ollama 服务。检查安装：确认 Ollama 是否成功安装并启动。通过这些步骤，你可以在离线环境中成功安装和运行 Ollama。如果有任何问题，随时可以咨询！
Linux环境离线安装Ollama
sjm831427的博客
08-30 8456
【说明】最近在服务器上安装ollama时，由于网络问题，无法下载，因此采用离线方式安装，供大家参考。
CentOS 10安装Ollama
最新发布
浩瀚蓝天dep的博客
08-22 434
本文介绍了在CentOS 10系统下手动安装Ollama v0.11.6的完整过程。主要步骤包括：从GitHub下载安装包并上传至服务器，解压到/usr目录；创建ollama用户组和用户；关闭防火墙；配置系统服务文件并设置为开机自启；最后启动服务并验证状态。该方法避免了直接使用官网脚本安装可能导致的失败问题，提供了稳定的部署方案。
ollama离线安装
first__man_的博客
05-22 975
本文介绍了如何在Linux系统上安装和配置Ollama。首先，根据CPU架构（x86_64或aarch64/arm64）下载对应版本的Ollama安装包。接着，通过命令行解压并安装Ollama，并启动服务。为了验证安装是否成功，可以使用ollama list命令查看已下载的模型。最后，建议将Ollama设置为系统启动时自动运行，通过创建systemd服务文件并配置相关参数，确保Ollama在后台持续运行，并支持开机自启。
Ollama 离线安装
Jerry的博客
10-22 3168
下载地址 https://github.com/ollama/ollama/releases/我下载的是Ollama的v0.1.31版本，后面均以此版本为例说明。3. 离线下载Linux环境的Ollama安装脚本，并保存到。2. 根据CPU型号下载Ollama安装包，并保存到。5. 运行 install.sh脚本 ,安装。8. 关闭 Ollama 服务。1. 查看服务器CPU的型号。7. 运行大模型，如通义千问。6. 配置大模型下载目录。
Linux内网离线安装Ollama
热门推荐
杉叔的专栏
04-10 4万+
在线安装地址https://ollama.com/download选择服务器系统，按照步骤完成安装。下载地址 https://github.com/ollama/ollama/releases/总共需要修改两个点，第一：Ollama下载地址；第二：Ollama安装包存放目录。我下载的是Ollama的v0.1.31版本，后面均以此版本为例说明。修改后的install.sh文件，v0.1.31版本。第二处修改，修改ollama安装目录。第一处修改，注释下载链接。
第四十篇-TeslaP40+Ollama+Ollama-WebUI(自编译)
木卫二号的专栏
08-28 1278
本文介绍用自己编辑ollama-webui,链接本地ollama。
小支同学用 Ollama 跑 DeepSeek R1：本地部署与多元应用指南
ZhiYilang的博客
01-31 9661
    友友们，以后别再叫我小北啦！从现在起，大家叫我小支同学会更好记哦！我也要跟过去的自己 say bye bye 啦～这也是小支同学今年的第一篇技术博客，希望能给大家带来有价值的内容。最近国产大模型 DeepSeek 可是火得一塌糊涂，频繁出现反应迟缓甚至宕机的情况，这和两年多之前 ChatGPT 的遭遇颇为相似。不过万幸的是，DeepSeek 是一个开源模型，我们完全可以通过本地部署，在自己的终端上随时使用它！接下来我就一步一步教大家具体的操作方法。
【机器学习】阿里Qwen-VL：基于FastAPI私有化部署你的第一个AI多模态大模型
人工智能领域博客
06-17 1万+
本文首先在引言中强调了一下OpenAI兼容API的重要性，希望引起读者重视，其次介绍了Qwen-VL的原理与模型结构，最后简要讲了下FastAPI以及搭配组件，并基于FastAPI封装了OpenAI兼容API的Qwen-VL大模型服务端接口，并给出了客户端实现。本文内容在工作中非常实用，希望大家能有所收获并与我交流。期待您的关注+三连
Ollama的手动(离线)安装
weixin_55513715的博客
08-20 5576
本文所以命令需要使用root权限运行。
ollama离线与在线安装
Q794469的博客
05-15 3759
复制/usr/share/ollama/.ollama/models目录中（blobs manifests）的文件夹到OLLAMA_MODELS环境变量目录。在线安装在线安装地址https://ollama.com/download选择服务器系统，按照步骤完成安装。默认为/usr/share/ollama/.ollama/models，改为自定义路径，⑤运行 install.sh脚本 ,安装。## 在install.sh的第65行。## 在install.sh的第73行。⑥配置大模型下载目录。
离线安装Ollama以及部署模型
rabbitlss的博客
02-12 3714
因为只能使用带GPU资源的内部LINUX服务器 ( X84-64 / Centos7 )，同时服务器没有外网，在网上查阅了相关内容，从头到尾自己安装部署了一遍，特地记下来方便后续查阅。
内网服务器离线安装部署 Ollama
weixin_40665994的博客
05-17 99
编译配置文件shell。
离线部署Ollama
topfine的博客
04-26 1930
怎样在内网中离线部署Ollama的方法 如何离线加载模型 内网上不了Internet，依据实践整理了离线部署Ollama的方法
Ollama系列---【如何离线安装ollama？】
-少年-的博客
01-08 2631
1.环境 本文以centos7.9安装ollama为例 2.下载ollama安装包 官网地址：https://ollama.com/download/linux GitHub手动安装文档地址：https://github.com/ollama/ollama/blob/main/docs/linux.md 安装包下载地址：https://ollama.com/download/ollama-lin...
国内Ubuntu离线安装和配置Ollama服务
Dlite的技术笔记
02-12 6955
在 Ubuntu 22.04 系统上，安装Ollama 的完整安装和配置步骤。
vim-ollama deepseek 如何安装
02-07
### 安装 Vim-Ollama Deepseek 对于安装 `vim-ollama` 和配置其与 `Deepseek` 的集成，当前提供的参考资料并未直接提及具体的安装步骤。然而，可以推测这涉及两个主要部分：一是确保 Ollama 工具链已正确设置；二是确认能够通过特定参数调用 `Deepseek` 模型。 考虑到这一点，在尝试安装或配置任何软件之前，建议先验证环境是否满足最低需求，并了解目标平台的具体要求。对于 `vim-ollama` 这样的工具来说，通常会依赖于 Python 环境以及一些额外的库支持[^2]。 由于具体到 `vim-ollama deepseek` 的安装指南缺失，这里提供一种可能的方式来进行类似的配置： #### 配置Ollama运行环境 为了使 `vim-ollama` 能够顺利工作并访问 `Deepseek` 模型，首先需要按照官方说明来准备基础环境。如果计划使用 Docker 来简化部署过程，则可以通过拉取相应的镜像文件作为起点： ```bash docker pull infiniflow/ragflow:dev ``` 接着启动服务端口监听以便后续操作： ```bash docker compose up ragflow -d ``` 以上命令有助于创建一个适合开发测试的服务框架[^1]。 #### 使用Ollama管理模型实例 为了让应用程序能有效地利用 `Deepseek` 模型特性，可通过如下指令加载指定版本的模型，并开启详细的日志记录功能以监控性能表现： ```bash ollama run DeepSeek-R1-UD-IQ1_M --verbose ``` 此命令不仅启用了所选模型，还加入了 `-verbose` 参数用于跟踪处理效率（每秒处理多少 token），这对于优化用户体验至关重要。 需要注意的是，上述指导基于现有资料推断而来，并不代表针对 `vim-ollama deepseek` 的确切安装流程。实际应用时应参照最新文档获取最权威的操作指引。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值