手把手教你AnythingLLM+Ollama+qwen 部署本地大模型

最新推荐文章于 2025-02-14 22:54:15 发布
最新推荐文章于 2025-02-14 22:54:15 发布
阅读量5.9k 收藏 26
点赞数 27
文章标签： 人工智能 语言模型 自动化 知识图谱 gpt
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_59164304/article/details/145283502
版权

利用周末的时间，在自己的笔记本电脑上部署一个本地大模型，过程也记录下来分享给对此有兴趣的朋友们。

【步骤】

模型相关的基础概念这里不多赘述了，直接进入实战。

整个部署过程分为三个步骤：

步骤一：下载ollama大模型工具

步骤二：在ollama工具中，下载通义千问大模型

步骤三：下载AnythingLLM并配置选择ollama的通义千问模型，直接在窗口对话

【逐步骤讲解】

官网下载ollama

https://ollama.com/download

安装后启动ollama

命令行窗口，敲入命令ollama list，此时显示没有任何大模型，开始去下载

下载大模型，阿里千问 0.5b （5亿参数）

ollama run qwen:0.5b

特意一早爬起来，网速快得飞起。小400M不到一分钟下载完成。

下载完成后，简单问一个小问题，看看反应如何？

0.5b是通义千问最小的一个模型，安装在普通笔记本上，反应速度还可以。返回的内容也还行，自己做练习搞点小研究足够了。

命令扩展：命令行窗口可以查看模型相关的信息

lollama list：显示模型列表。

lollama show：显示模型的信息

lollama pull：拉取模型

lollama push：推送模型

lollama cp：拷贝一个模型

lollama rm：删除一个模型

lollama run：运行一个模型

有条件的话，机器配置也能跟得上，可以下载更大的模型，如下表：

模型

参数

大小

下载

Llama 2

7B

3.8GB

ollama run llama2

Mistral

7B

4.1GB

ollama run mistral

Dolphin Phi

2.7B

1.6GB

ollama run dolphin-phi

Phi-2

2.7B

1.7GB

ollama run phi

Neural Chat

7B

4.1GB

ollama run neural-chat

Starling

7B

4.1GB

ollama run starling-lm

Code Llama

7B

3.8GB

ollama run codellama

Llama 2 Uncensored

7B

3.8GB

ollama run llama2-uncensored

Llama 2 13B

13B

7.3GB

ollama run llama2:13b

Llama 2 70B

70B

39GB

ollama run llama2:70b

Orca Mini

3B

1.9GB

ollama run orca-mini

Vicuna

7B

3.8GB

ollama run vicuna

LLaVA

7B

4.5GB

ollama run llava

Gemma

2B

1.4GB

ollama run gemma:2b

Gemma

7B

4.8GB

ollama run gemma:7b

Ollama服务默认地址和端口是http://127.0.0.1:11434/

服务开启时，访问该地址会返回 Ollama is running

不过只能在命令行中玩耍还是不太方便，想个办法弄个网页版的，像chatgpt页面一样。

下载Anythingllm结合ollama使用。（这个文件有点大，干掉6个多G）

Anything下载地址https://anythingllm.com/desktop

安装后直接打开，创建新工作区

下面小扳手是设置，打开之后，LLM提供商选择上面步骤安装的ollama，模型选择上面安装的qwen0.5b大模型。其他的默认不需修改

保存后，返回到我的工作区，聊天窗口可以愉快地体验自己部署的本地大模型啦。

到此为止，一个AnythingLLM+Ollama+qwen0.5b的本地大模型就部署好了。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么？
  • 大模型是怎样获得「智能」的？
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例：向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
  • …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示（Embeddings）
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署
  • …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2：手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
  • …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身：基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例：如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案
  • …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

AI大模型之旅-Ollama+AnythingLLM 搭建本地知识库，并落地生产
weixin_43866043的博客
09-04 1583
以上都是在anythingllm中提问或者回答，但是如何结合自己的生产系统呢，anythingllm提供的api接入，先生成一个api秘钥，然后点击api文档。然后再本地postman测试，以下就测试成功了，紧接着就可以连接自己的生产环境，喂自己的数据，构建自己的知识库了。每个工作区点击设置，可以修改工作区的配置，包括通用设置，聊天，向量库和大模型代理，自己设置就好了。文档上传完成，可以测试以下（顺便说的我的文档是java面试宝典），测试效果还可以。点击上传按钮，就可以上传本地文档，甚至有网页。
DeepSeek本地部署+AnythingLLM搭建个人知识库，真香？（附完整教程、ollama+anythingLLM下载）
最新发布
2401_82469710的博客
03-05 1441
DeepSeek本地部署+AnythingLLM搭建个人知识库，真香？（附完整教程、ollama+anythingLLM下载）
AnythingLLM+Ollama，能否打造你的专属个性化AI助手？
xx_nm98的博客
10-24 6091
AnythingLLM是一个AI聊天系统，它允许用户构建自己的私人ChatGPT。与依赖云服务的AI工具不同，AnythingLLM支持本地开源和商用闭源的大语言模型（LLM），用户可以根据自己的需求和预算选择合适的模型。
AnythingLLM + Ollama 实现私有知识库
2301_76168381的博客
01-29 3864
是一款开箱即用的一体化 AI 应用，支持 RAG（检索增强生成）、AI 代理等功能。它无需编写代码或处理复杂的基础设施问题，适合快速搭建私有知识库和智能问答系统。通过和Ollama的结合，我们成功搭建了一个具备私有知识库能力的 AI 应用。私有知识库不仅可以让 AI 回答通用问题，还能基于私有文档（如企业内部资料、图书等）生成更精准的答案。❝注意： 随着知识库中文档数量的增加，回答的准确性可能会受到影响。建议将文档分散到多个工作区，以提高检索效率。
AnythingLLM + Ollama，打造本地专属 AI 助手
AI云极的博客
01-02 1753
依托的强大知识库能力和Ollama的本地推理特性，我们能够在自己的电脑或服务器上，搭建起一套私有化的 AI 助手系统。它不仅可以回答你的各种问题，还能在回答过程中引用你所上传的专属资料，为你提供准确且贴合实际需求的回复。这样的本地化方案兼顾隐私、灵活与可玩性，对于想要深入探索开源大语言模型应用的个人或企业而言，无疑是一条值得尝试的道路。如果你也在寻找离线可用、经济实惠的解决方案，或是对“可完全掌控的 AI 助手”情有独钟，那么不妨亲手尝试一下这套组合，把你的想法从纸面付诸行动吧！
【AI大模型微调部署】RAG 实践-Ollama+AnythingLLM 搭建本地知识库
2401_85325397的博客
12-07 1567
RAG，即检索增强生成（Retrieval-Augmented Generation），是一种先进的自然语言处理技术架构，它旨在克服传统大型语言模型（LLMs）在处理开放域问题时的信息容量限制和时效性不足。RAG的核心机制融合了信息检索系统的精确性和语言模型的强大生成能力，为基于自然语言的任务提供了更为灵活和精准的解决方案。
手把手从0开始，使用Ollama+OpenWebUI本地部署阿里通义千问Qwen2 AI大模型
capricornce的博客
08-08 3052
使用Ollama+OpenWebUI本地部署阿里通义千问Qwen2 AI大模型
大模型部署实战：基于Ollama + DeepSeek-R1 + OpenAI的混合架构
qq_32358423的博客
02-14 1757
在AI技术快速发展的今天，大语言模型（LLM）已成为开发者工具箱中的核心组件。然而，直接依赖云端API（如OpenAI）可能面临成本、隐私和延迟等问题。（OpenAI），我们可以构建灵活、可控且高性价比的混合架构。本文将手把手教你实现这一方案。无论是个人项目还是企业应用，这套方案都能为你提供强大的AI能力支撑。
GLM-4-Flash 大模型API免费了，手把手构建“儿童绘本”应用实战（附源码）
老牛啊
08-27 2799
GLM-4-Flash 大模型API免费了，我们本文基于免费API构建一个“儿童绘本”应用，包括使用文生图产出绘本故事插图……
ChatTTS 长音频合成和本地部署2种方式，让你的“儿童绘本”发声的实战教程（文末有福利）
老牛啊
08-31 2487
本文介绍 ChatTTS 最新版本的 2 种本地部署方式，并通过短音频合成长音频的技术手段，解决 ChatTTS 合成音频最长 30 秒时长的限制，同时，我们让绘本故事文本转长音频……
基于 Qwen2.5-Coder 模型和 CrewAI 多智能体框架，实现智能编程系统的实战教程
老牛啊
09-21 1659
Qwen2.5 开源的系列模型中，Qwen2.5-Coder 模型的推理能力技压群雄，本文集合 CrewAI 框架，让多智能体自己编写符合我们需求的程序……
本地大模型7：AnythingLLM的下载使用——本地大模型接入知识库
热门推荐
weixin_74825941的博客
10-27 1万+
键盘win+R->输入cmd，回车->输入ollama serve，回车点击前往官网，选择适合自己的操作系统下载，这里是windows，下载好后双击安装，修改路径即可，安装过程可能需要几分钟。下载成功安装
Anything LLM + Ollama / LM Studio实现大模型本地部署
m0_47211450的博客
02-09 951
Ollama/ LM studio + Anything LLM 为在本地简易高效地部署大语言模型称为了可能，通过本文对比了Ollama/ LM studio的情况，本人推荐在使用anything llm时，可以结合使用Ollama， LM Studio可以单独使用。
AnythingLLM+Ollama构建本地知识库
天风的人工智能博客
05-11 1641
这是一个全栈应用程序，可以将任何文档、资源（如网址链接、音频、视频）或内容片段转换为上下文，以便任何大语言模型（LLM）在聊天期间作为参考使用。此应用程序允许您选择使用哪个LLM或向量数据库，同时支持多用户管理并设置不同权限。工作区内的智能体Agent（浏览网页、运行代码等）支持多种文档类型（PDF、TXT、DOCX等）通过简单的用户界面管理向量数据库中的文档聊天和查询。聊天模式保留先前的对话记录。查询模式则是是针对您的文档做简单问答聊天中会提供所引用的相应文档内容。
Qwen2-7b+AnythingLLM+ollama 部署API调用
qq_37203082的博客
08-09 3539
Qwen2-7b+AnythingLLM+ollama 部署API调用
AnythingLLM一键AI私有知识库! 支持多种大模型、RAG 和 AI Agents！
Y525698136的博客
10-25 1811
AnythingLLM是一个全栈AI应用程序，可以将任何文档、资源（如网址链接、音频、视频）输入大语言模型（LLM），与大模型互动。
AnythingLLM教程系列之 03无代码一路next部署anythingLLM docker （教程含安装步骤）
iCloudEnd的博客
05-06 3195
AnythingLLM 是最易于使用的一体化AI 应用程序，可以执行 RAG、AI 代理等操作，且无需任何代码或基础设施难题。您需要为您的企业或组织提供一款完全可定制、私有且一体化的 AI 应用程序，该应用程序基本上是一个具有许可的完整 ChatGPT，但具有任何 LLM、嵌入模型或矢量数据库。
QAnything 在mac M2 上纯python环境安装使用体验（避坑指南）
Angus
05-09 2581
开源的RAG本地知识库检索的有不少。最近比较火热的就是 QAnything 和 RAGflow。其中Qanything 是相对比较早的。并且它是网易开源的，各种都相对更正规一些。安装部署文档也都比较齐全。dify 是开源做工作流的，其中也有RAG的部分。但是做的很粗糙。如果想做自己的本地知识库开发，可以在Qanything上做。我看过QAnything 和 RAGflow dify的源码，也对比了他们的效果，最终评估使用Qanything 打底。做一个全新的RAG搜索。
ollama本地部署qwen
01-15
### 部署Ollama Qwen模型 为了在本地环境中成功部署Ollama的Qwen模型，需遵循特定配置流程。首先，确保安装有支持CUDA的NVIDIA GPU以及相应的驱动程序，因为大多数大型语言模型（LLM），包括Qwen，在GPU上运行效率更高[^2]。 接着，环境准备阶段涉及创建虚拟环境并安装必要的依赖库。对于Python开发而言，推荐使用`conda`来管理不同版本间的兼容性问题： ```bash conda create -n qwen_env python=3.9 conda activate qwen_env pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu117 ``` 随后，获取Qwen模型及相关资源文件至关重要。这通常通过官方GitHub仓库或其他可信渠道下载完成。假设已从指定位置获得预训练权重与配置文件，则可继续进行加载操作： ```python from transformers import AutoModelForCausalLM, AutoTokenizer model_name_or_path = "path_to_qwen_model" tokenizer = AutoTokenizer.from_pretrained(model_name_or_path) model = AutoModelForCausalLM.from_pretrained(model_name_or_path).cuda() ``` 最后一步是设置API接口以便于外部调用。可以利用Flask或FastAPI这样的微服务框架快速搭建RESTful API服务器，从而实现与其他应用程序交互的功能。下面是一个简单的例子展示如何启动一个基于FastAPI的服务端口监听命令： ```python from fastapi import FastAPI import uvicorn app = FastAPI() @app.post("/generate/") async def generate_text(prompt: str): inputs = tokenizer(prompt, return_tensors="pt").to('cuda') outputs = model.generate(**inputs) result = tokenizer.decode(outputs[0], skip_special_tokens=True) return {"response": result} if __name__ == "__main__": uvicorn.run(app, host="0.0.0.0", port=8000) ``` 上述过程概述了在本地机器上部署和运行Ollama Qwen模型所需的主要步骤。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值