大模型部署：LLAMA3.1 8B 本地部署并配合Obsidian建立本地AI知识管理系统

最新推荐文章于 2025-03-22 15:38:24 发布
最新推荐文章于 2025-03-22 15:38:24 发布
阅读量1.2k 收藏 19
点赞数 19
文章标签： 人工智能 LLM 自然语言处理 大模型部署 Llama3 知识库 程序员
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Wufjsjjx/article/details/143764117
版权

目前，LLAMA3.1模型分为8B、70B、405B三个版本，其中70B和405B对于显存的要求均已超过了一般家用电脑的配置(或者换个说法，用一张4090也是带不起来的)，所以运行8B即可。LLAMA3.1 8B的性能约相当于ChatGPT3.5。

经过我的测试4080、2080、intel ultra 9 185H（无独立显卡，其能力约相当于1060）都是可以带得动8B模型的，当然显卡越好，响应的速度越快。

1、安装Ollama

Ollama是专门为本地化运行大模型设计的软件，可以简便运行很多开源大模型

去官网下载Ollama软件：

代码语言：txt

https://ollama.com/

2、设置环境变量

可以直接在CMD中通过set命令设置

代码语言：txt

set OLLAMA_HOST=127.0.0.1

set OLLAMA_MODELS=d:\ollama\models

set OLLAMA_ORIGINS=app://obsidian.md*

其中，OLLAMA_HOST可以设置为127.0.0.1（本机） 或者0.0.0.0（任意）

OLLAMA_MODELS用于设置模型位置，如果设置了这个环境变量的话，则下载回来的模型会保存在后面设定的位置，如果没设置这个环境变量的话，则会默认保存在

代码语言：txt

C:\Users\你的用户名.ollama\models

OLLAMA_ORIGINS用于连接obsidian笔记

3、下载并运行模型

先下载一个用于上载笔记内容至Ollama的模型

代码语言：txt

ollama pull nomic-embed-text

直接在CMD中使用命令进行下载

代码语言：txt

ollama run llama3.1:8b

第一次运行的时候会自动下载训练好的模型文件，后续使用不会重复下载。

但是每次使用的时候都需要执行一次

代码语言：txt

ollama run llama3.1:8b

如果下载过程中出现提示网络错误，则可以尝试使用特殊的上网方式或者去可下载的电脑上下载回来模型文件并拷贝到环境变量中设置的models文件位置中使用

4、OBSIDIAN安装

去其官网下载安装即可，无特殊要求

代码语言：txt

https://obsidian.md/

5、安装copilot插件

在Obisdian的设置——第三方插件——关闭安全模式——社区插件市场——浏览——搜索输入copilot，选择作者是logan yang的那个，然后安装——启用，即可

随后还是在第三方插件中，点开copilot的设置。

主要有以下几处

  1. 在最顶端 Default Model——选择OLLAMA(LOCAL)

  2. 在QA settings里面 Embedding Models——选择ollama-nomic-embed-text

  3. 在接近最下面的地方 Ollama model——手工输入 llama3.1:8B

最后去最上方点 save and reload

6、使用

在obsidian左侧点击copilot小图标，右侧出现窗口，就可以使用copilot了。

可以在三种模式中切换，chat就是一般的对话模式，long note QA是针对单篇笔记的问答模式，vault QA是针对整个笔记库的问答模式。

使用QA模式时，应先点击一下右边的拼图形状的图标，载入当前笔记，后针对性提问，美中不足是它在针对笔记的问题回答时只能使用英文回答。

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

Meta 的 LLaMA 4 系列（1000 万上下文长度）现已推出：推动开源 AI 的发展
iCloudEnd的博客
04-06 406
LLaMA 4 系列是AI 开源生态系统的一次巨大飞跃。Meta 专注于效率、规模和可访问性，为新一波 AI 开发者、初创公司和研究人员赋能。虽然许可问题仍然存在，但 Scout 和 Maverick 的技术卓越性是不可否认的。在我们期待 LLaMA 4 Behemoth 和 4 月 29 日的 LLaMACon 之际，很明显 2025 年将成为超级开放模型的一年——而 Meta 正在引领这一潮流。
llama3.1-8B-微调
m0_57057282的博客
07-26 1512
库中用于特定任务（例如微调）的训练类。代码配置了训练参数、数据集和模型，并为训练过程定义了一些关键设置。3）应用LoRA技术来减少模型训练和推理时的内存使用，同时保持模型性能。进行模型推理，生成一个给定指令的响应。9）推送模型到hugging-face。4）加载一个数据集，并规范格式。实例，用于训练一个语言模型。使用unslothai微调。10)加在本地模型进行推理。
LLAMA3.1 8B 本地部署并配合Obsidian建立本地AI知识管理系统
杜衡老师的自留地
07-30 887
目前，LLAMA3.1模型分为8B、70B、405B三个版本，其中70B和405B对于显存的要求均已超过了一般家用电脑的配置(或者换个说法，用一张4090也是带不起来的)，所以运行8B即可。LLAMA3.1 8B的性能约相当于ChatGPT3.5。经过我的测试4080、2080、intel ultra 9 185H（无独立显卡，其能力约相当于1060）都是可以带得动8B模型的，当然显卡越好，响应的速度越快。
做LLM推理时，常见的显卡如何选择？
2401_82469710的博客
06-17 1600
随着开源LLM越来越成熟，业务接入LLM推理也成为必然，如何选模型大小和显卡，主要看下面这些。
大模型本地部署：LLAMA3.1 8B 本地部署并配合Obsidian建立本地AI知识管理系统
最新发布
瓦罗兰特顶级C位的博客
03-22 620
大模型本地部署：LLAMA3.1 8B 本地部署并配合Obsidian建立本地AI知识管理系统
新鲜出炉，实测开源 AI 模型 Llama3.1 8B
weixin_70955880的博客
07-24 904
正如马克·扎克伯格今天早上在一封公开信中所说的那样：我们相信开源将确保世界各地更多的人能够获得AI的好处和机会，权力不会集中在少数人的手中，这项技术可以在社会中更均匀和安全地部署。刚刚测试了 llama3.1 8B ，效果良好，在无法联网工作的情况下，是一个上佳之选。依据 llama 官方发布的测评结果而言，Llama3.1 70B 与 gpt-3.5 的水平相当， 或者稍高一点。用M3 pro（36GB 内存）运行 70B 十分卡顿， 推测配备高配显卡的电脑运行效果会更优。
TensorFlow相关组件的安装
AAI666666的博客
01-11 2528
TensorFlow相关组件的安装
部署和体验llama3.1:8B中文微调版本
szw的博客
08-14 4793
llama-3-1 meta于2024-07-23发布文档gitCloudflare提供了免费访问的入口如下，Llama 3.1模型在中文支持方面仍有较大提升空间在Hugging Face上已经可以找到经过微调、支持中文的Llama 3.1版本。
基于OBSIDIAN+Ollama+llama3.1构建个人智能助理
wangjye99的博客
08-07 1444
在人工智能（AI）领域， AI PC让我们重新定义智能办公和信息管理。但是，要真正实现这一愿景，我们必须考虑多个关键因素，包括隐私保护、数据安全等。在本文中，我们将使用OBSIDIAN+OLLAMA+llama 3.1-8b来搭建一个简易而高效的个人知识及工作智能助理，从而让您的日常办公、生活、学习更加便捷。
Obsidian+Ollama+llama3.1，自定义构建本地AI助理，无需联网
智能运维及数据中台探索
08-15 2148
在人工智能（AI）领域， AI PC让我们重新定义智能办公和信息管理。但是，要真正实现这一愿景，我们必须考虑多个关键因素，包括隐私保护、数据安全等。今天将带大家一起看下如何使用OBSIDIAN+OLLAMA+LLAMA3.1-8b搭建一个简易而高效的个人知识库及工作智能助理，从而让日常办公、学习、生活更加高效便捷。
在Windows电脑上快速运行AI大语言模型-Llama3
east4ming的博客
04-20 1955
近期 Meta 发布了最新的 Llama3 模型，并开源了开源代码。Meta Llama 3 现已推出 8B 和 70B 预训练和指令调整版本，可支持广泛的应用程序。并且 Llama 3 在语言细微差别、上下文理解和翻译和对话生成等复杂任务方面表现出色。我们可以在 Windows 上快速运行 Llama3 8B 模型。📝Notes郑重声明: 本文几乎没有任何原创内容, 主要资料都来自于网上, 笔者只是总结自己实际可以运行起来的详细步骤, 供各位读者参考.Llmafile。
【丹摩智算实战】手把手教你Llama 3.1 8B部署：开启自然语言处理新篇章
LT15171009269的博客
09-24 774
在自然语言处理（NLP）领域，大模型（LLM）的发展日新月异，为各种应用场景带来了前所未有的能力。近日，Meta公司宣布推出了其最新的开源模型——Llama 3.1，这一消息在行业内引起了广泛关注。本文将详细介绍Llama 3.1的背景、特点、部署流程以及使用实例，帮助读者深入了解并掌握这一强大的NLP工具
别只会用别人的模型了，自学Ai大模型，顺序千万不要搞反了！刚入门的小白必备！
2301_81888214的博客
02-13 738
别只会用别人的模型了，自学Ai大模型，顺序千万不要搞反了！刚入门的小白必备！
Llama3.1 8B模型
遗失的神庙
07-25 1105
模型地址：https://github.com/meta-llama/llama-models/blob/main/models/llama3_1模型下载：https://www.modelscope.cn/models/LLM-Research/Meta-Llama-3.1-8B-Instruct中文对齐过的模型：https://modelscope.cn/models/shareAI/llama3.1-8b-instruct-dpo-zh
用Ollama 和 Open WebUI本地部署Llama 3.1 8B
chinagaobo的专栏
08-04 1629
Ollama是一个开源的大型语言模型服务工具，它允许用户在自己的硬件环境中轻松部署和使用大规模预训练模型。Ollama的主要功能是在Docker容器内部署和管理大型语言模型（LLM），使得用户能够快速地在本地运行这些模型。它简化了部署过程，通过简单的安装指令，用户可以执行一条命令就在本地运行开源大型语言模型，例如Llama 3.1。本地部署，离线运行，数据无需上传云端，担心隐私泄露。
基于LaMA-Factory微调llama3.1-8B
m0_70486148的博客
10-11 1679
大模型的训练目前主要分为和，受限于资源算力等原因，实际工作中更多用到的是。对于普通用户来说SFT仍然具备较高的门槛，需要了解一定的理论基础，准备用于微调的数据，由于不同基座模型相应的微调方法也不一样，需要对超参数优化等其他问题这里推荐使用LaMA-Factory支持多种模型：LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen、Qwen2-VL、Yi、Gemma、Baichuan、ChatGLM、Phi 等等。
6小时完成Llama 3.1-8B适配并开源！MindSpore Transformers大模型套件使能开发者创新
Kenji_Shinji的博客
07-26 1166
大模型开发套件MindSpore Transformers基于MindSpore内置的并行技术和组件化设计,构建了大模型训练、微调、评估、推理、部署的全流程开发套件，支持业内主流的Transformer类预训练模型和SOTA下游任务应用，可以帮助用户轻松的实现大模型训练和创新研发。推理部署上，代码拉取、权重下载、权重转换步骤与微调一致，实现权重一键转换，推理结果显示，基于MindSpore Transformers适配的Llama 3.1模型精度与原生模型精度对齐。，即可得到Llama 3.1。
私有化部署 Llama3 大模型, 支持 API 访问
chenxyuan1tuo的博客
06-18 1354
原文 https://ducafecat.com/blog/llama3-model-api-local通过 ollama 本地运行 Llama3 大模型其实对我们开发来说很有意义，你可以私有化放服务上了。然后通过 api 访问，来处理我们的业务，比如翻译多语言、总结文章、提取关键字等等。你也可以安装 enchanted 客户端去直接访问这个服务 api 使用。
llama3.1-8b本地部署
12-28
### Llama3.1-8B 模型本地部署指南 为了在本地环境中成功部署 Llama3.1-8B 模型，需遵循特定的安装和配置流程。以下是详细的说明： #### 下载模型文件 要获取所需模型，可以使用官方提供的下载工具来选择并下载指定版本的 Llama3.1-8B-Instruct 模型[^1]。 ```bash llama model download --source meta --model-id Llama3.1-8B-Instruct ``` 此命令会自动处理模型及其依赖项的下载过程。 #### 安装必要的软件包 确保已安装 Python 及其虚拟环境管理器（如 `venv` 或 `conda`），以便创建独立的工作区。接着，按照项目文档中的指导安装所有必需的Python库和其他组件。 对于基于 PyTorch 的实现方式，建议先确认 GPU 是否可用以及 CUDA 版本是否兼容。如果硬件支持 NVIDIA 显卡，则应优先考虑利用 GPU 加速计算性能。 #### 设置运行环境 完成上述准备工作之后，进入解压后的模型目录，并加载预训练权重至内存中准备推理服务。此时可以根据实际需求调整一些参数设置，比如批量大小(batch size)、最大序列长度(max sequence length)等超参选项。 #### 启动推理服务器 最后一步是启动一个简单的 HTTP API 接口用于接收外部请求并向用户提供预测结果。通常情况下，开发者会选择 Flask/Django REST framework 构建轻量级 Web 应用程序作为前端入口；而对于生产级别应用场景来说，可能还会涉及到负载均衡、错误恢复机制等方面的考量。 ```python from transformers import AutoModelForCausalLM, AutoTokenizer import torch tokenizer = AutoTokenizer.from_pretrained('path/to/local/model') model = AutoModelForCausalLM.from_pretrained('path/to/local/model') def generate_text(prompt): inputs = tokenizer(prompt, return_tensors="pt").input_ids.to(device='cuda' if torch.cuda.is_available() else 'cpu') outputs = model.generate(inputs) generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True) return generated_text ``` 这段代码展示了如何初始化 Hugging Face Transformers 中的 Tokenizer 和 Model 类实例，并定义了一个名为 `generate_text()` 函数来进行文本生成操作[^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值