【ollama】ollama配置本地大模型并运行

已于 2024-09-23 08:35:29 修改
阅读量189 收藏
点赞数 1
文章标签： docker python ollama
于 2024-09-20 14:17:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xudawu201/article/details/142383597
版权

ollama的Github链接

https://github.com/ollama/ollama

ollama官网链接

https://ollama.com/

打开后点击下载
在这里插入图片描述
下载完成后进行安装，安装完毕后在终端输入以下，代表安装成功

ollama

在这里插入图片描述
在ollama官网的模型库中找到需要的模型，这里使用阿里最新开源的qwen2.5
在这里插入图片描述
复制这里的命令代码

ollama run qwen2.5

在这里插入图片描述
然后在终端中输入这行命令，等待模型下载完毕，然后可以开始对话
在这里插入图片描述
额外信息
ollama的模型默认安装位置

C:\Users\xudawu\.ollama

在这里插入图片描述
olla

http://127.0.0.1:11434

在浏览器中输入以上链接，出现以下则代表ollama运行模型成功
在这里插入图片描述
ollama官方api接口
docker配置的时候需要此接口

https://github.com/ollama/ollama/blob/main/docs/api.md#generate-a-completion

在这里插入图片描述
输入以下查看已安装的模型

ollama list

在这里插入图片描述

rhythmcc
关注
【AI学习指南】轻量级模型-用 Ollama 轻松玩转本地大模型
瑶山的博客
07-28 470
根据 ChatGPT 的使用经验，系统提示词是很重要的。好的系统提示词能有效地将大模型定制成自己需要的状态。在 Ollama 中，有多种方法可以自定义系统提示词。首先，不少 Ollama 前端已提供系统提示词的配置入口，推荐直接利用其功能。role为system的消息即为系统提示词。"content": "以同学的口吻简单作答。},"content": "你会游泳吗？],}'现在AI领域的进展日新月异，进步就像是从刀耕火种步入现代社会：就像是我上个月写了这篇文章，现在AI又踏上了新的征程。
Ollama本地部署大模型
我的博客
05-23 1718
Ollama 是一个开源框架，旨在为用户提供在本地运行大型语言模型的能力。Ollama 支持多种主流模型的下载，也允许用户通过自定义导入的方式来使用自训练的模型。Ollama 的优势在于其强大的功能和便捷的 API，能够为用户提供灵活的语言模型使用体验。官网：https://ollama.com支持的开源大模型：https://ollama.com/library。
ollama自定义模型容器部署（cpu版）
gallonyin的博客
09-21 577
使用GPU需要安装 NVIDIA Container Toolkit⁠： https://hub.docker.com/r/ollama/ollama。如果想使用Qwen2.5-7B模型，可以在这个模型页选择适合自己算力需求的模型下载。ollama create #从模型文件创建模型。ollama pull #从注册表中拉取模型。ollama serve #启动ollama。ollama run #运行模型。
使用ollama搭建自己的本地中文大语言模型
aolan123的博客
07-16 1987
说到ai,大家应该不陌生了，它应该是目前最火的研究方向之一了，下面是目前比较流行的一些ai(人工智能大模型):openai的chatgptgoogle的GemmaAnthropic的Claude月之暗面的kimi阿里的通义千问百度的文心一言字节跳动的豆包但今天聊的是ollama这个开源框架加上开源模型来实现自己本地的ai。
ollama 使用自己的微调模型
spiderwower的博客
05-12 1万+
微调大模型的方法，这里不展开说，我使用的lora微调方法。微调大模型需要比较高的显存，推荐在云服务器上进行训练，系统环境为linux。
使用LLaMA-Factory快速训练自己的专用大模型
互联网架构小马的博客
09-03 885
本文聊聊 LLama-Factory，它是一个开源框架，这里头可以找到一系列预制的组件和模板，让你不用从零开始，就能训练出自己的语言模型（微调）。不管是聊天机器人，还是文章生成器，甚至是问答系统，都能搞定。而且，LLama-Factory 还支持多种框架和数据集，这意味着你可以根据项目需求灵活选择，把精力集中在真正重要的事情上——创造价值。使用LLama-Factory，常见的就是训练LoRA模型，增强模型在某方面的生成能力。
QAnything+Ollama搭建本地知识库
编程探索与数字构建 | Python与Java之旅
07-13 1349
基于QAnything和Ollama搭建本地知识库
OLLaMA搭建本地大模型
Aweii__的博客
07-26 1502
根据 ChatGPT 的使用经验，大家都知道系统提示词的重要性。好的系统提示词能有效地将大模型定制成自己需要的状态。在 Ollama 中，有多种方法可以自定义系统提示词。首先，不少 Ollama 前端已提供系统提示词的配置入口，推荐直接利用其功能。"content": "以海盗的口吻简单作答。},"content": "天空为什么是蓝色的？],}'其中role为system的消息即为系统提示词，跟Modelfile里面的SYSTEM下面的定义差不多一个意思。
使用ollama本地跑大模型
邵奈一的博客
01-28 3580
总的来说，跑起来还是非常方便的，也没有遇到多少坑。相类似的项目有Jan，大家也可以尝试一下。使用ollama本地跑模型ollama 大模型本地部署之浏览器插件邵奈一原创不易，如转载请标明出处，教育是一生的事业。
大模型实战—Ollama 本地部署大模型
2401_84052244的博客
04-25 955
根据 ChatGPT 的使用经验，多数人都已知晓系统提示词的重要性。好的系统提示词能有效地将大模型定制成自己需要的状态。在 Ollama 中，有多种方法可以自定义系统提示词。首先，不少 Ollama 前端已提供系统提示词的配置入口，推荐直接利用其功能。此外，这些前端在底层往往是通过APIcurl -d '{"content": "以海盗的口吻简单作答。},"content": "天空为什么是蓝色的？],}'其中role为system的消息即为系统提示词。
ollama 本地部署大模型
热门推荐
03-17 4万+
根据 ChatGPT 的使用经验，多数人都已知晓系统提示词的重要性。好的系统提示词能有效地将大模型定制成自己需要的状态。在 Ollama 中，有多种方法可以自定义系统提示词。首先，不少 Ollama 前端已提供系统提示词的配置入口，推荐直接利用其功能。此外，这些前端在底层往往是通过API"content": "以海盗的口吻简单作答。},"content": "天空为什么是蓝色的？],}'其中role为system的消息即为系统提示词。
大模型管理工具Ollama搭建及整合springboot
congge_study的博客
06-01 8542
Ollama搭建与部署使用
AIGC 实战：如何使用 Ollama 开发自定义的大模型（LLM）
surfirst的博客
02-27 1万+
虽然 Ollama 提供了运行和交互式使用大型语言模型（LLM）的功能，但从头开始创建完全定制化的 LLM 需要 Ollama 之外的其他工具和专业知识。然而，Ollama 可以通过微调在定制过程中发挥作用。以下是细分说明
Ollama深度探索：AI大模型本地部署的全面教程
寻道码路，探索编程之路的无限可能。
06-21 6187
我们正处在人工智能技术飞速发展的时代，其中大型语言模型（LLMs）已成为技术革新的前沿话题。这些模型以其强大的语言理解和生成能力，正在改变我们与机器交互的方式，并在自然语言处理（NLP）、内容创作、代码生成等多个领域展现出巨大的潜力。 Ollama作为一个创新的工具，它的核心使命是简化大型语言模型在本地环境中的运行和管理。这不仅为开发者提供了一个强大的平台来部署和定制AI模型，而且也使得终端用户能够更加私密和安全地与这些智能系统进行交互。
探索Ollama——入门：如何在本地环境中搭建和自定义大型语言模型
南七小僧的学海无涯
05-23 1940
在当今快速发展的人工智能时代，大型语言模型（LLMs）已经成为技术前沿的热点话题。Ollama，作为一个开创性的工具，使得开发者能够在本地环境中轻松运行和管理这些强大的模型。无论是进行自然语言处理、代码生成还是其他AI驱动的任务，Ollama都提供了一个简单、高效的解决方案。Ollama的主要特点包括其对多种操作系统的支持、对Docker的集成、以及一个丰富的模型库，让用户可以根据自己的需要选择和运行不同的模型。
RAG 实践-Ollama+AnythingLLM 搭建本地知识库
2401_84495872的博客
06-12 1425
RAG，即检索增强生成（Retrieval-Augmented Generation），是一种先进的自然语言处理技术架构，它旨在克服传统大型语言模型（LLMs）在处理开放域问题时的信息容量限制和时效性不足。RAG的核心机制融合了信息检索系统的精确性和语言模型的强大生成能力，为基于自然语言的任务提供了更为灵活和精准的解决方案。
【docker】docker常见命令
hiliang521的博客
09-30 507
[docker] docker常见命令
【Docker】Docker 容器的使用指南：如何进入容器并运行命令
最新发布
人生苦短，睡觉要紧，睡醒再说。
10-01 1708
Docker 是一个开源的应用容器引擎，能轻松创建、部署和运行分布式应用。本文将介绍如何进入 Docker 容器并在其中运行命令，包括常用命令示例与说明。
ollama部署本地大模型
05-27
您好，Ollama是一个基于PyTorch的大规模语言模型，其部署需要进行以下步骤： 1. 下载模型：从Ollama官方网站下载训练好的模型，并将其解压到本地。 2. 安装依赖：安装PyTorch、transformers和flask等必要的Python依赖包。 3. 编写代码：编写一个简单的Flask应用程序，将Ollama模型加载到内存中，并根据用户的输入返回预测结果。 4. 启动应用程序：在命令行中运行应用程序。 5. 进行测试：在浏览器中输入应用程序的地址，测试Ollama模型是否能够正常工作。 相关问题： 1. Ollama是什么？ 2. Ollama如何进行部署？ 3. 如何下载Ollama模型？ 4. Ollama模型需要哪些依赖包？ 5. 如何测试Ollama模型是否能够正常工作？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

rhythmcc

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值