Ollama |安装以及使用初级探索

最新推荐文章于 2024-09-07 15:00:54 发布
最新推荐文章于 2024-09-07 15:00:54 发布
阅读量277 收藏 6
点赞数 4
文章标签： llama
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/the_seventh_dog/article/details/141419211
版权

简单复现记录


本文主要是为了复现GraphRAG+LangChain+Ollama的一个项目，浅浅记录一下，在微信公众号文章看到该项目的介绍： 文章，相应的GitHub代码在这里： 代码。

Ollama

简单介绍及安装配置

在这里插入图片描述

Ollama是一种用于在本地管理和部署大模型的工具。它的安装和配置参考了这些文章：第一篇 、第二篇和第三篇。
Ollama官网上下载安装包，安装时没法选盘，默认就是C盘，但模型存储位置可以通过配置环境变量换位置，增加一个系统变量OLLAMA_MODELS，将其设置为D:\Ollama。（但是我的模型下载后也没有再对应的位置，很迷…我再看看）
在这里插入图片描述

常用的一些命令

更多请参考上面的第三篇或者其他官方文档。
在这里插入图片描述

命令作用
ollama list展示本地大模型列表
ollama rm 本地模型名称删除单个本地大模型
ollama run 本地模型名启动本地模型
ollama ps查看本地运行中模型列表
ollama pull 本地/远程仓库模型名称下载或者更新本地大模型
ollama cp 本地存在的模型名 新复制模型名复制本地大模型

llama3.1:8b下载例子

在这里插入图片描述
不要忘记模型名称和指定参数规模中间的 ’ ： '。
模型下载中be like:
在这里插入图片描述
下载完成be like:
在这里插入图片描述

the_seventh_dog
关注
  • 4
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
初学者如何入门Generative AI 之 Transformer 解析与应用：看两篇综述，玩几个应用感受一下先！超多高清大图，沉浸式体验
shiter编写程序的艺术
12-03 302
Generative artificial intelligence (also generative AI or GenAI) is artificial intelligence capable of generating text, images, or other media, using generative models.
[RAG】 graphrag-ollama安装
突围
07-19 261
graphrag-ollama
本地大模型服务 Ollama：从安装到使用
十十办文武的博客
06-19 1563
Ollama 是专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计的开源简单的部署过程：Ollama 提供跨平台的安装包，并提供 docker 方式部署。跨平台支持：Ollama 可以在macOSLinux和Windows平台上运行，为用户提供了灵活选择的便利性。预构建模型库：Ollama 包含多个预训练的大型语言模型，用户可以直接选择这些模型应用于自己的应用程序，无需从头训练或自行寻找模型源。这些特点使得 Ollama 成为一个强大且易于使用的跨平台工具，适用于各种需要大型语言模型支持的应用场景。
[译] RAGFlow 使用说明
编码时光
08-28 1925
快速启动 一、先决条件 二、启动服务器 1、确保 `vm.max_map_count` ≥ 262144: 2、克隆存储库： 3、构建预构建的Docker映像并启动服务器： 三、配置LLM 四、创建您的第一个知识库 五、文件解析 六、设置一个AI聊天 配置知识库 一、创建知识库 二、配置知识库 1、选择块方法 2、选择嵌入模型 3、上传文件 4、解析文件 5、干预文件解析结果 6、运行检索测试 三、搜索知识库 四、删除知识库 开始AI聊天 一、开始一个AI聊天 二、更新现有对话的设置 三、将聊天功能集成到您
Elastic：开发者上手指南
热门推荐
Elastic 中国社区官方博客
02-25 15万+
你们好，我是Elastic的刘晓国。如果大家想开始学习Elastic的话，那么这里将是你理想的学习园地。在我的博客几乎涵盖了你想学习的许多方面。在这里，我来讲述一下作为一个菜鸟该如何阅读我的这些博客文章。 我们可以按照如下的步骤来学习： 1)Elasticsearch简介：对Elasticsearch做了一个简单的介绍 2)Elasticsearch中的一些重要概念:cluster, n..........................................................
我承认，我低估国产大模型了！
python12222_的博客
06-13 854
一年前，人们普遍认为开源模型和最领先的闭源模型之前存在一两年的代差，如今，以QWen2为代表开源阵营用实力证明，开源模型正在加速追赶头部闭源模型。自2023年8月开源以来，通义千问在全球开源社区生态中已形成重要影响力。6月7日，Qwen2系列模型的API第一时间登陆阿里云百炼平台。
从入门到实战：全面学习生成式 AI 的方法与实践
cha111的博客
06-19 1216
1. 文生文 2. 文生图 3. 文生音频 4. 文生视频 了解这些方向的热门产品，并进行基础了解和试用。从最小必要知识开始到完成一些新手任务，如何查找到一手优质学习信息，再到做一个开发者，调用大模型，开发一个对话机器人，开创新领域：做一个造物者 掌握结构化 prompt 写作 用 Midjourney 和 Stable Diffusion 生成图片 用 Suno.ai 生成音乐 用 Pika 或 Runway 生成视频 找到一个方向，持续学习， 大公司的网站：OpenAI、Claude 等公司的官方文档。
【大模型应用篇7】新一代程序员需要掌握的智能体脚手架是？
youbingchen的博客
05-06 2018
在“996”内卷中脱颖而出。》介绍coze平台的大部分组件,dify基本都有,比如工作流、知识库等,不过我觉得比coze平台更具优势的是,用户可以选择更多模型, 不像coze平台仅仅支持云雀和moonshot, 这个给了很多开发者更多的转型dify的冲动, 包括未来可以引入自己公司针对某个领域微调的LLM。现在智能体处于初级阶段，大家可以探索更多应用场景，大家可以关注我的公众号，就可以与他进行对话，起码现在24小时智能客服没啥问题，我也对比了之前方式客服，从使用体验来说，知识库问答和闲聊功能实用性更强。
ollama离线安装脚本
09-03
ollama离线安装脚本
ollama 运行第三方模型
05-06 6万+
本质上是通过GGUF 来创建ollama可执行的模型文件。
【llama3.1】Ollama 下载安装指南
weixin_46481662的博客
07-24 1785
以上就是在 Windows 系统上下载和安装 Ollama 的详细步骤。希望这篇指南能帮助你顺利安装并开始使用 Ollama。如果你在安装过程中遇到任何问题，欢迎在评论区留言，我们会尽快帮助你解决。
利用 Llama-Index为你的应用程序注入智能搜索
09-04 583
Llama-Index 是一个基于大型语言模型的索引和检索工具，它允许用户快速检索和使用大量文本数据。
欺诈文本分类检测（十一）：LLamaFactory多卡微调
golfxiao的专栏
09-05 1221
本文尝试用LLamaFactory工具对前面的欺诈文本分类任务进行了SFT微调训练，并启用了多张GPU，多GPU的直接影响是批量大小batch_size的4倍增加，使得模型每次训练时能看到更多的数据，进行更稳定梯度估计和更准确的参数更新，最终在评测指标上有一个显著的提升。
使用LLaMA-Factory快速训练自己的专用大模型
互联网架构小马的博客
09-03 712
本文聊聊 LLama-Factory，它是一个开源框架，这里头可以找到一系列预制的组件和模板，让你不用从零开始，就能训练出自己的语言模型（微调）。不管是聊天机器人，还是文章生成器，甚至是问答系统，都能搞定。而且，LLama-Factory 还支持多种框架和数据集，这意味着你可以根据项目需求灵活选择，把精力集中在真正重要的事情上——创造价值。使用LLama-Factory，常见的就是训练LoRA模型，增强模型在某方面的生成能力。
llama_factory Qlora微调异常 No package metadata was found for The ‘autoawq‘
weixin_43194923的博客
09-03 419
后记：大模型微调lora与Qlora 区别还是挺大的，Qlora 微调起来相对麻烦一些对应处理依赖也会更多一些！：QLoRA 通常会比 LoRA 占用更少的内存，因为它可以利用量化带来的内存节省效果。安装 autoawq 去Git上看大部分都支持CUDA 12.1 选择一个版本安装即可。：LoRA 可以应用于任何未量化的模型，而 QLoRA 则专门用于已经量化的模型。：QLoRA 的实现可能比 LoRA 更加复杂，因为它需要处理量化模型特有的问题。(小编尝试过版本降级，但总有其他依赖报错，进行放弃，升级)
LLaMA-Factory仓基础功能架构及NPU/GPU环境实战演练
Watson的博客
09-04 907
LLaMA-Factory是一个开源的大规模语言模型微调框架，设计用于简化大模型的训练过程。它提供了一个统一的平台，支持多种大模型的微调，包括LLaMA、BLOOM、Mistral等，旨在帮助用户快速适应和调整这些模型以适应特定的应用场景。LLaMA-Factory通过提供一套完整的工具和接口，使用户能够轻松地对预训练的模型进行定制化的训练和调整，包括（增量）预训练、指令监督微调、奖励模型训练、PPO训练、DPO训练和ORPO训练等多种训练方法。
llama.cpp demo
最新发布
sunyun1990的专栏
09-07 295
依次pip3 install numpy/pip3 install sentencepiece/pip3 install transformers/pip3 install gguf/pip3 install protobuf。另外看看是不是可以直接下载 llama-2-7b-chat.gguf。转换出llama-2-7b-chat.gguf。修改Makefile使能mfma参数。安装python3依赖。
[linux] 报错 ModuleNotFoundError: No module named ‘llama‘
心宝的博客
09-06 212
【代码】[linux] 报错 ModuleNotFoundError: No module named 'llama'
ollama windows安装
08-10
"Ollama"并不是Windows官方软件，看起来像是某个特定软件或项目的名称，但在Windows上安装通常是指安装第三方应用程序。以下是安装一般Windows软件的一般步骤： 1. **下载安装文件**：首先从Ollama的官方网站、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值