Ollama |安装以及使用初级探索

最新推荐文章于 2024-11-07 16:30:14 发布
最新推荐文章于 2024-11-07 16:30:14 发布
阅读量521 收藏 6
点赞数 4
文章标签： llama
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/the_seventh_dog/article/details/141419211
版权

简单复现记录


本文主要是为了复现GraphRAG+LangChain+Ollama的一个项目，浅浅记录一下，在微信公众号文章看到该项目的介绍： 文章，相应的GitHub代码在这里： 代码。

Ollama

简单介绍及安装配置

在这里插入图片描述

Ollama是一种用于在本地管理和部署大模型的工具。它的安装和配置参考了这些文章：第一篇 、第二篇和第三篇。
Ollama官网上下载安装包，安装时没法选盘，默认就是C盘，但模型存储位置可以通过配置环境变量换位置，增加一个系统变量OLLAMA_MODELS，将其设置为D:\Ollama。（但是我的模型下载后也没有再对应的位置，很迷…我再看看）
在这里插入图片描述

常用的一些命令

更多请参考上面的第三篇或者其他官方文档。
在这里插入图片描述

命令作用
ollama list展示本地大模型列表
ollama rm 本地模型名称删除单个本地大模型
ollama run 本地模型名启动本地模型
ollama ps查看本地运行中模型列表
ollama pull 本地/远程仓库模型名称下载或者更新本地大模型
ollama cp 本地存在的模型名 新复制模型名复制本地大模型

llama3.1:8b下载例子

在这里插入图片描述
不要忘记模型名称和指定参数规模中间的 ’ ： '。
模型下载中be like:
在这里插入图片描述
下载完成be like:
在这里插入图片描述

【AI】如何改换Ollama的模型存储位置
每日出拳老爷子的博客
06-19 3973
ollama在构筑AI应用时是用于统一管理模型库的核心组成部分。默认存放ollama模型库的位置是C盘的用户文件夹的.llama-》model下。但是这样C盘很容易占满。好了，有没有办法改变ollama的默认模型存放位置呢？插一句话，越来越觉得不分区有不分区的方便。
【ai】windows ollama安装qwen
突围
07-24 143
qwen 在 3060 6G上
ollama修改模型的下载位置解决C盘空间不足问题
lujx_1024的博客
05-30 1万+
列举了WIndows和Linux操作系统修改默认ollama的模型保存地址方法，解决c盘空间被挤满的问题
Windows下载安装Ollama本地运行大模型，新手详细
最新发布
changyana的博客
11-07 2407
下载安装Ollama并运行大模型教程，进行系统环境变量配置，新手详细。
Ollama使用常见问题
我这不是依托答辩随你怎么说
08-28 1314
问题描述ollama下载模型默认路径为C盘，但该盘空间不足。解决方案添加系统环境变量OLLAMA_MODELS，设置其值为新的路径。
【AI实践】Ollama本地安装大模型服务
AI_Gump的博客
06-16 1172
由于我电脑是第六代Intel，集显，没有独立显卡；这里选择3B比较小的模型，防止模型太大响应太慢；在Window系统的PowerShell软件，或者Windows Terminal中输入命令。安装默认在C盘，成功后，window任务栏图标会有Ollama Logo。open WebUI的安装有很多方法，如下文，推荐docker容器安装，为了不占用C盘更大的空间，修改模型下载路径，修改环境变量。此处使用微软的phi3模型，3B的版本，2.4GB大小；首次安装完成，就进入了，运行模型的窗口。
ollama在windows系统上安装总结以及注意事项
scj0725的博客
04-22 2万+
注意：您应该至少有 8 GB 可用 RAM 来运行 7B 型号，16 GB 来运行 13B 型号，32 GB 来运行 33B 型号。在系统变量中添加一个名为：OLLAMA_MODELS的变量名，路径选择一个合适的位置。然后拉去这个大模型的话，直接复制右边的命令：ollama run llama3。安装模型默认都是安装在c盘的，如果c盘空间不足可以指定安装模型位置。直接点击下载，会根据你的系统自动下载相应的版本。一定要注意，自己的电脑配置是否适合模型的大小。下载完之后，直接点击安装，默认安装到c盘。
ollama 使用技巧集锦
顺其自然~专栏
04-10 2525
从帮助文件可以看，我们通过设置环境变量（OLLAMA_MODELS）来指定模型目录，可以通过系统设置里来配置环境变量（系统变量或者用户变量）记得替换你的模型的完整路径 另外不同模型的template 和 stop parameter不同，这个不知道就不写，或者网上搜索 然后执行。使用*， 意味着任何应用都可以访问ollama，如果你没有特别的要求，可以考虑用它。导入模型的时候，确保硬盘可用空间在模型大小的2倍以上，， 搜Octopus-v2，找有GGUF标识的，为例，先查看模型信息，从模型文件信息里得知。
Ollama部署在线ai聊天
m0_63251896的博客
03-30 734
Ollama部署在线ai聊天 ​ 概述：虽然ollama在Windows方面还有很多bug，但不妨碍它在ai领域上面的成就 第一步：安装Ollama 官网：Download Ollama on Windows 下载安装即可。说明一下ollama的安装位置只能是c盘，好像改不了，但是数据模型可以更改 端口号也可以更改。 第二步：安装Ollama模型 第三步：运行模型项目 第四步：让它编写c语言平衡二叉树，c语言完整代码 ​
Windows11上Ollama的使用
qq_73440769的博客
04-29 3005
可以本地搭建自己的本地大模型，可以成为自己本地的一个ai助手，下面是简单案例。
Ollama修改默认模型存储位置
qq_52028313的博客
07-24 6995
windows 的安装默认不支持修改程序安装目录，由于Ollama的模型默认会在C盘用户文件夹下的。文件夹中，可以配置环境变量。
ollama离线安装脚本
09-03
ollama离线安装脚本
本地大模型服务 Ollama：从安装到使用
十十办文武的博客
06-19 1989
Ollama 是专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计的开源简单的部署过程：Ollama 提供跨平台的安装包，并提供 docker 方式部署。跨平台支持：Ollama 可以在macOSLinux和Windows平台上运行，为用户提供了灵活选择的便利性。预构建模型库：Ollama 包含多个预训练的大型语言模型，用户可以直接选择这些模型应用于自己的应用程序，无需从头训练或自行寻找模型源。这些特点使得 Ollama 成为一个强大且易于使用的跨平台工具，适用于各种需要大型语言模型支持的应用场景。
AI-Ollama安装部署总结
qq_16155205的博客
09-10 1413
Ollama 是一个基于 Go 语言开发的可以本地运行大模型的开源框架。Ollama 提供了简单的命令行界面，使得用户能够轻松地下载、运行和管理大型语言模型，无需复杂的配置和环境设置。Ollama 支持多种流行的语言模型，用户可以根据需求选择合适的模型进行使用，灵活性高。Ollama 可以与现有的应用程序和工作流无缝集成，支持多种编程语言和框架，方便开发者在不同环境中使用。用户可以在本地环境中运行模型，增强了数据隐私和安全性，避免了将敏感数据上传到云端的风险。
Ollama 使用指南
机器人涮火锅的博客
08-09 3223
文章的主要目的是介绍 Ollama 这一工具的功能、安装方法、模型库以及如何使用它来运行和管理大型语言模型。文章旨在向潜在用户展示如何利用 Ollama 快速且简便地在其本地环境中部署和使用先进的语言模型，同时也提供了有关模型自定义和管理的具体指导。
ollama大模型容器详解，根据ollama进行web开发
2301_78960337的博客
02-24 4373
ollama,gemma:7b
[大模型]ollama本地部署自然语言大模型
一个喜欢什么都研究一下的小小后端程序员
03-17 1万+
大模型已经发布很久，网络上的大模型形形色色，现在已然是群英荟萃，那么，如何在本地运行一个大模型？本文采用ollama，简单运行本地大模型，不需要写代码。测试机器：i5 840016G内存1060 6G安装ollama安装，下载，运行模型。Chatbox作为桌面程序，用来更方便的调用大模型。经测试，gemma:2b模型可流畅运行。
ollama Windows部署
m0_57486465的博客
04-15 3163
本文介绍了如何在Windows上部署Ollama，包括下载安装、环境配置和测试步骤。通过配置环境变量和测试网络连接，可以成功搭建本地大模型服务，实现快速部署和测试模型功能。
Ollama全面指南：安装、使用与高级定制
热门推荐
全世界的博客
05-30 6万+
Ollama是一个专为在本地环境中运行和定制大型语言模型而设计的工具。它提供了一个简单而高效的接口，用于创建、运行和管理这些模型，同时还提供了一个丰富的预构建模型库，可以轻松集成到各种应用程序中。Ollama的目标是使大型语言模型的部署和交互变得简单，无论是对于开发者还是对于终端用户。Ollama提供了一个直观且用户友好的平台，用于在本地环境中运行大型语言模型。启动Ollama服务：首先，确保Ollama服务已经安装并运行。在命令行中输入以启动服务。选择模型：使用命令查看可用的模型列表。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值
>