【LLM大模型】使用Ollama本地离线体验SimpleRAG（手把手教程）

最新推荐文章于 2024-09-27 10:58:53 发布
最新推荐文章于 2024-09-27 10:58:53 发布
阅读量773 收藏 21
点赞数 17
文章标签： 人工智能 prompt llama ai大模型 大模型 LLM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_81940605/article/details/141468177
版权

Ollama介绍

Ollama是一个开源项目，专注于开发和部署大语言模型，特别是像LLaMA这样的模型，用于生成高质量的文本和进行复杂的自然语言处理任务。Ollama的目标是让大语言模型的运行和使用变得更加容易和普及，而无需复杂的基础设施或深度的机器学习知识。

在这里插入图片描述

GitHub地址：github.com/ollama/olla…

RAG是什么？

检索生成增强（Retrieval-Augmented Generation，RAG）是一种结合了检索（Retrieval）和生成（Generation）两种技术的自然语言处理方法，主要用于改进文本生成任务的性能，如问答系统、对话系统、文本摘要和文档生成等。RAG模型通过在生成模型的基础上，引入一个检索模块，来增强生成模型的准确性和丰富性。

在传统的生成模型中，模型完全依赖于训练数据中学习到的模式和统计信息来生成文本，这可能导致生成的内容缺乏新颖性或准确性。而检索模块则可以从外部知识库或文档中检索相关的信息，将这些信息作为额外的输入，提供给生成模型，从而帮助生成更准确、更丰富和更具体的文本。

具体来说，RAG模型的工作流程如下：

  1. 检索阶段：模型首先根据输入的查询或上下文，从外部知识库中检索出与之最相关的文档或片段。
  2. 融合阶段：检索到的信息与输入的查询或上下文进行融合，形成增强的输入。
  3. 生成阶段：增强后的输入被送入生成模型，生成模型根据这些信息生成最终的文本输出。

通过这种方式，RAG模型能够在生成过程中利用到外部知识，提高了生成文本的准确性和丰富性，同时也增强了模型的可解释性，因为生成的文本可以追溯到具体的来源。RAG模型在处理需要大量领域知识或具体事实信息的任务时，表现出了显著的优势。

SimpleRAG介绍

A simple RAG demo based on WPF and Semantic Kernel.

SimpleRAG是基于WPF与Semantic Kernel实现的一个简单的RAG应用，可用于学习与理解如何使用Semantic Kernel构建一个简单的RAG应用。

在这里插入图片描述

GitHub地址：github.com/Ming-jiayou…

主要功能

AI聊天

支持所有兼容OpenAI格式的大语言模型：

在这里插入图片描述

文本嵌入

支持所有兼容OpenAI格式的嵌入模型：

在这里插入图片描述

简单的RAG回答

简单的RAG回答效果：

在这里插入图片描述

对比不使用RAG的回答：

在这里插入图片描述

使用Ollama本地离线体验SimpleRAG

来到SimpleRAG的GitHub参考，注意到这里有个Releases：

在这里插入图片描述

点击SimpleRAG-v0.0.1，有两个压缩包，一个依赖net8.0-windows框架，一个独立：

在这里插入图片描述

依赖框架的包会小一些，独立的包会大一些，如果你的电脑已经装了net8.0-windows框架可以选择依赖框架的包，考虑到可能大部分人不一定装了net8.0-windows框架，我以独立的包做演示，点击压缩包，就在下载了：

在这里插入图片描述

解压该压缩包：

在这里插入图片描述

打开appsettings.json文件：

在这里插入图片描述

appsettings.json文件如下所示：

在这里插入图片描述

在你的电脑上启动Ollama，在命令行中输入ollama list 查看已经下载的模型：

在这里插入图片描述

由于我电脑的配置不是很好，对话模型以gemma2:2b为例，嵌入模型以bge-m3:latest为例，appsettings.json文件这样写：

在这里插入图片描述

Endpoint输入Ollama的地址，默认是http://localhost:11434，Ollama不需要Api Key随便写。

现在点击SimpleRAG.exe即可运行程序：

在这里插入图片描述

程序运行之后，如下所示：

在这里插入图片描述

先通过AI聊天测试配置是否成功：

在这里插入图片描述

配置已经成功。

现在来测试一下嵌入。

先拿一个简单的文本进行测试：

bash
 代码解读
复制代码
小k最喜欢的编程语言是C#。

在这里插入图片描述

嵌入成功：

在这里插入图片描述

这个Demo程序为了方便存储文本向量使用的是Sqlite数据库，在这里可以看到：

在这里插入图片描述

如果你有数据库管理软件的话，打开该数据库，会发现文本已经以向量的形式存入Sqlite数据库中：

在这里插入图片描述

现在开始测试RAG回答效果：

在这里插入图片描述

对比不使用RAG的回答效果：

在这里插入图片描述

可以发现大语言模型根本不知道我们想问的私有数据的事情。

现在我们可以来测试一下更复杂一点的文本了，一样的嵌入文本之后，测试RAG效果：

在这里插入图片描述

RAG回答失败了，这是因为我使用的模型参数太少了，还不够强大。如果你的电脑配置好，可以改用更智能的模型，如果你的电脑配置不好，可以选择混合使用的方式，即使用在线的对话模型Api，使用本地Ollama中的嵌入模型。

使用在线对话Api+本地Ollama嵌入模型体验SimpleRAG

appsettings.json可以这样写：

在这里插入图片描述

测试RAG效果：

在这里插入图片描述

RAG还是失败了。

模型换成meta-llama/Meta-Llama-3.1-8B-Instruct：

在这里插入图片描述

模型换成google/gemma-2-9b-it：

在这里插入图片描述

模型换成Qwen/Qwen2-72B-Instruct：

在这里插入图片描述

通过源码找原因：

在这里插入图片描述

将相关度调成0.3就可以找到相关文本了，但是感觉这样也会出问题，文档一多很容易找到不相关的文档，后面appsettings.json中会增加相关度的配置：

在这里插入图片描述

现在再测试一下Qwen/Qwen2-7B-Instruct：

在这里插入图片描述

也可以了。

对比不使用RAG的回答效果：

在这里插入图片描述

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

AI小白龙*
关注
LLM大模型部署实战指南：Ollama部署简化流程，OpenLLM灵活部署，LocalAI本地优化，Dify赋能应用开发【含ollama详细部署指南多版本】
丨汀、的博客
08-13 737
LLM大模型部署实战指南：Ollama简化流程，OpenLLM灵活部署，LocalAI本地优化，Dify赋能应用开发
Ollama 在本地快速启动并执行LLM【大语言模型】
penriver的博客
03-19 1300
Ollama 让你快速的在本地部署、启动并执行大语言模型 Ollama makes it easy to get up and running with large language models locally. Get up and running with Llama 2, Mistral, Gemma, and other large language models.
TensorRT-LLM保姆级教程（二）-离线环境搭建、模型量化及推理
吃果冻不吐果冻皮
12-04 2631
接下来以Bloom模型为例，进行 TensorRT-LLM 开发实践。build.py：用于构建 TensorRT 引擎来运行Bloom模型。run.py：模型推理。：使用模型来总结 CNN Dailymail 数据集中的文章。：将HF格式的模型进行转换。支持 FP16支持 INT8 & INT4 仅权重量化支持 INT8 KV CACHE 量化支持SmoothQuant 量化支持张量并行大模型量化概述进行过简要概述，后续有时间更详细的梳理常见的一些大模型量化技术。
大模型RAG入门及实践
奇舞周刊
05-14 770
本文作者系360奇舞团前端开发工程师前言在大语言模型（LLM）飞速发展的今天，LLMs 正不断地充实和改进我们周边的各种工具和应用。如果说现在基于 LLM 最火热的应用技术是什么，检索增强生成（RAG，Retrieval Augmented Generation）技术必占据重要的一席。RAG 最初是为了解决 LLM 的各类问题的产生的，但后面大家发现在现阶段的很多企业痛点上，使用RAG好像是更好的...
SemanticKernel/C#：使用Ollama中的对话模型与嵌入模型用于本地离线场景
mingupup的博客
08-02 1321
上一篇文章介绍了使用SemanticKernel/C#的RAG简易实践，在上篇文章中我使用的是兼容OpenAI格式的在线API，但实际上会有很多本地离线的场景。今天跟大家介绍一下在SemanticKernel/C#中如何使用Ollama中的对话模型与嵌入模型用于本地离线场景。本次实践的主要收获是如何在SemanticKernel中使用Ollama中的对话模型与嵌入模型用于本地离线场景。在实践RAG的过程中，发现影响效果的最主要在两个地方。
ollama+模型内网离线部署
weixin_65416692的博客
07-16 1828
在线机器上使用ollama提前下载好模型，将模型文件models直接拷贝到系统中，在服务文件中设置存放模型文件的环境变量即可。mv /home/models /usr/share/ollama/.ollama //替换模型文件。rm -r /usr/share/ollama/.ollama/models //删除原模型文件。sudo systemctl restart ollama //停止ollama。sudo systemctl start ollama //启动ollama。
本地离线模型搭建指南-LLaMA-Factory训练框架及工具
Master_Shifu_的博客
06-23 2056
搭建一个本地中文大语言模型（LLM）涉及多个关键步骤，从选择模型底座，到运行机器和框架，再到具体的架构实现和训练方式。以下是一个详细的指南，帮助你从零开始构建和运行一个中文大语言模型。本地离线模型搭建指南将按照以下四个部分展开。
【大模型应用】Ollama本地大模型服务器及其C#客户端测试
cxyhjl的博客
04-27 1041
前言在工业领域，本地开源大模型的潜在应用场景非常多样，一些不那么显而易见的可能包括：智能柔性装配：大模型可以应用于生产线的智能化改造，通过理解和生成工业执行指令，实现柔性化的装配和生产。工业企业智能中台：大模型可以作为企业智能中台的核心，整合分散的数据，提供辅助决策和运筹规划，从而提高整体运营效率。质量检测与安全监测：结合视觉传感技术，大模型可以对指定区域或人员进行实时监测，快速发现异常信息，降低...
AIGC 实战：如何使用 Docker 在 Ollama 上离线运行大模型（LLM）
热门推荐
surfirst的博客
02-22 1万+
Ollama 是一个开源平台，用于管理和运行各种大型语言模型 (LLM)，例如 Llama 2、Mistral 和 Tinyllama。它提供命令行界面 (CLI) 用于安装、模型管理和交互。您可以使用 Ollama 根据您的需求下载、加载和运行不同的 LLM 模型。
LLM - 使用 HuggingFace + Ollama 部署最新大模型 (GGUF 格式 与 Llama 3.1)
Mystra
08-08 2105
Ollama 是用于构建和运行大型语言模型(LLM)应用的开源工具，提供了一个简洁易用的命令行界面和服务器，让用户能够轻松下载、运行和管理各种开源 LLM，默认支持大量模型，如果是 HuggingFace 最新模型，或者自制模型，支持转换成 GGUF 格式，再进行调用。
大模型实战—Ollama 本地部署大模型
2401_84052244的博客
04-25 942
根据 ChatGPT 的使用经验，多数人都已知晓系统提示词的重要性。好的系统提示词能有效地将大模型定制成自己需要的状态。在 Ollama 中，有多种方法可以自定义系统提示词。首先，不少 Ollama 前端已提供系统提示词的配置入口，推荐直接利用其功能。此外，这些前端在底层往往是通过APIcurl -d '{"content": "以海盗的口吻简单作答。},"content": "天空为什么是蓝色的？],}'其中role为system的消息即为系统提示词。
【LLM】离线部署ChatGLM-6B模型
提笔忘字的帝国
04-28 4315
甲方出手，天下我有🤩。让我们看看GPU参数吧😍输入命令：（如果报了未找到命令的话需要给显卡驱动目录添加进环境变量，自行百度）nvidia-smi我滴乖乖，49G显存爱了爱了~
探索OllamaSharp：无缝对接Ollama API的.NET利器
gitblog_00025的博客
06-05 796
探索OllamaSharp：无缝对接Ollama API的.NET利器 ???? OllamaSharpOllama API bindings for .NET项目地址:https://gitcode.com/gh_mirrors/ol/OllamaSharp OllamaSharp 是一个精心设计的.NET库，它提供了与Ollama API交互的强大工具。无论你是C#开发者还是.NET生态的爱好者，...
四、.Net8对接Ollama实现文字翻译（.Net8+SemanticKernel+Ollama）本地运行自己的大模型
Coder
05-29 1280
有道翻译：Semantic Kernel （语义内核，简称SK）是一个轻量级 SDK，支持将 AI 大型语言模型 (LLM) 与传统编程语言集成。SK 可扩展编程模型结合了自然语言语义函数、传统代码原生函数和基于嵌入的内存，释放了新的潜力并为 AI 应用程序增加了价值。
C#整合Ollama实现本地LLMs调用
weixin_31083901的博客
09-09 207
前言 近两年AIGC发展的非常迅速，从刚开始的只有ChatGPT到现在的很百家争鸣。从开始的大参数模型，再到后来的小参数模型，从一开始单一的文本模型到现在的多模态模型等等。随着一起进步的不仅仅是模型的多样化，还有模型的使用方式。大模型使用的门槛越来越低，甚至现在每个人都可以在自己的电脑上运行模型。今天我们要说的就是大模型工具中的佼佼者Ollama,并演示如何通过C#来使用Ollama。 ...
春风吹又生的开源项目「GitHub 热点速览」
HelloGitHub 的博客
03-12 1284
随着上周知名 Switch 开源模拟器 Yuzu（柚子）被任天堂起诉，该项目作者就删库了，但还是要赔偿任天堂数百万美元。此事还在 GitHub 上掀起了一波 Yuzu fork 项目的小浪潮，正所谓野火烧不尽，春风吹又生。很多读者都表示事情发生得太突然，没来得及 fork 一下，所以本周的「热点速递」上来就是另一款用 C# 写的 Switch 开源模拟器，要 fork 的抓紧时间啦。此事告一段落，...
[论文精读]AI-Guardian: Defeating Adversarial Attacks using Backdoors
最新发布
m0_52911108的博客
09-27 1231
本文提出了AI-Guardian框架，本质是让模型预测结果受到后门控制，而很难被攻击者操纵，从而抵御对抗攻击。在模型训练阶段，AI-Guardian会针对原始训练样本生成一批后门样本（经过后门处理的样本），按标签双射关系为后门样本分配对应标签，实现后门注入；在模型预测阶段，AI-Guardian先对输入数据进行后门处理，然后将其输入到模型，根据模型输出结果、标签双射关系返回对输入数据真实标签的预测结果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值