零基础也能搞定！快速搭建本地大型语言模型指南

最新推荐文章于 2024-08-22 14:46:32 发布

再不会AI就不礼貌了

最新推荐文章于 2024-08-22 14:46:32 发布

阅读量795

点赞数 14

文章标签：语言模型人工智能自然语言处理 chatgpt langchain 分布式

本文链接：https://blog.csdn.net/Everly_/article/details/140997613

版权

1、前言

在这篇文章中，我们将介绍如何在本地快速、简单地搭建属于自己的大型语言模型，实现自由自在的本地对话。整个过程不需高深技术，只需要具备下载程序、安装程序、执行命令行的基础技能，无需科学上网即可完成。

在这里插入图片描述

2、为什么需要本地的大语言模型

随时随地使用A****I：使用AI已经成为我们日常工作的一部分，相当于第二大脑。不论是写文章、写代码还是回邮件，都离不开它。商用的大模型需要联网使用，但是打工人随时随地都有被召唤工作的可能。有了本地大模型，不论是在地铁、高铁、飞机上，可以在无网络环境下使用AI。
数据安全：商用的大模型在对话过程中，会将内容用于自身的训练。就像下图Google gemini的说明，其他商用大模型也会有类似的说明

如果对话涉及个人隐私或公司机密，存在数据泄漏的风险。本地模型可以有效避免这种问题。
执行特定领域模型：商用模型多为通用型，但在医学、金融、工程等领域，存在专属的大型语言模型。通过本地部署，可以运行这些特定功能的模型，甚至公司可以根据业务需求训练专用模型供内部使用。

下面的示例是由复旦大学数据智能与社会计算实验室 (Fudan-DISC)开发并开源DISC-MedLLM，是一个专门针对医疗健康对话式场景而设计的医疗领域大模型

在这里插入图片描述

3、如何搭建本地大型语言模型

我们依照下面的步骤来搭建大模型

安装大模型执行程序

我们选择使用 Ollama，一个开源框架，用于本地运行大型语言模型（LLM）。它的主要特点包括：

简化部署：Ollama使得管理和运行模型变得更加容易。
捆绑模型组件：将模型权重、配置和数据捆绑到一个包中，称为Modelfile，优化设置和配置细节，包括GPU使用情况。
支持多种模型：支持多种大型语言模型，如Llama 2、Code Llama、Mistral、Gemma等，用户可以根据需求定制和创建模型。
内建开放API**：**安装后即提供API，支持其他应用通过API调用其对话功能。

安装非常简单，可访问 Ollama官网 https://ollama.com/download 进行下载。下载后执行安装即可

在这里插入图片描述

2. 选择合适的大模型

除了商用模型如ChatGPT、文心一言，还有很多开源模型可供选择。推荐中文模型“阿里的通义千问”，其特点包括：

中文开放域通用模型：支持中文开放域语言表达检测和标注。
多语言对话模型：支持多语言对话，能识别图片中的中英双语长文本。
全尺寸、全模态开源：提供从18亿到720亿参数规模的模型，以及视觉理解、音频理解的多模态模型。

在Ollama上安装通义千问也很简单，只需命令行执行

ollama run qwen:1.8b

下载速度快

在这里插入图片描述

安装完成后即可开始对话。

在这里插入图片描述

通义千问提供参数不同大小的模型，模型越大性能越强，对话的内容也更丰富，但需要更多的显卡内存**。**查看电脑显卡内存，可打开任务管理器，切换到性能页查看GPU内存大小。

下面整理不同模型大小执行时需要的GPU内存大小

参数规模	模型大小	GPU内存大小
0.5b	394 MB	1.3 GB
1.8b	1.1 GB	2.0 GB
4b	2.3 GB	3.5 GB
7b	4.5 GB	6.5 GB
14b	8.2 GB	10.5 GB
32b	18 GB	18.8 GB

最佳策略：是在小于电脑显卡的内存的条件下，选择最大的模型

3. 安装Web界面

除了命令行模式，我们还可以使用类似ChatGPT的Web界面工具来增加我们的使用体验，这个工具是Open Webui。这个界面不单单是介面还包含对话历史、文件解析、多用户管理的功能，所以官方使用打包成一个docker安装使用，安装步骤也很简单

(1)安装Windows Docker：访问Docker官网下载 https://docs.docker.com/desktop/install/windows-install/ Windows桌面版并安装。

在这里插入图片描述

(2)执行命令行指令：

安装docker

docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

(3) 连接到本地Web界面: 打开浏览器，访问 http://localhost:3000。第一次使用需注册Email，此步骤仅为本地身份验证，用来区分不同账号，企业也可以用不同账号让员工在内网使用。

在这里插入图片描述

（4）开始使用：注册完成后即可开始使用Web界面。

在这里插入图片描述

通过以上步骤，您已成功在本地搭建了自己的大型语言模型，享受随时随地、安全高效的AI对话体验。

4、结语

总的来说,搭建一个本地的大模型并不困难,只需要几个简单的步骤。拥有一个专属的AI助手,不仅可以随时随地使用,还可以避免敏感数据泄露的风险。对于个人用户或企业来说,本地大模型绝对是一个值得尝试的选择,它将为工作和生活带来全新的体验。

如何系统的去学习大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以V扫描下方二维码免费领取🆓
在这里插入图片描述

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。那以下这些PDF籍就是非常不错的学习资源。

在这里插入图片描述

四、AI大模型商业化落地方案

阶段1：AI大模型时代的基础理解

目标：了解AI大模型的基本概念、发展历程和核心原理。
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
  - L1.4.1 知识大模型
  - L1.4.2 生产大模型
  - L1.4.3 模型工程方法论
  - L1.4.4 模型工程实践
- L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
内容：
- L2.1 API接口
  - L2.1.1 OpenAI API接口
  - L2.1.2 Python接口接入
  - L2.1.3 BOT工具类框架
  - L2.1.4 代码示例
- L2.2 Prompt框架
  - L2.2.1 什么是Prompt
  - L2.2.2 Prompt框架应用现状
  - L2.2.3 基于GPTAS的Prompt框架
  - L2.2.4 Prompt框架与Thought
  - L2.2.5 Prompt框架与提示词
- L2.3 流水线工程
  - L2.3.1 流水线工程的概念
  - L2.3.2 流水线工程的优点
  - L2.3.3 流水线工程的应用
- L2.4 总结与展望

阶段3：AI大模型应用架构实践

目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
内容：
- L3.1 Agent模型框架
  - L3.1.1 Agent模型框架的设计理念
  - L3.1.2 Agent模型框架的核心组件
  - L3.1.3 Agent模型框架的实现细节
- L3.2 MetaGPT
  - L3.2.1 MetaGPT的基本概念
  - L3.2.2 MetaGPT的工作原理
  - L3.2.3 MetaGPT的应用场景
- L3.3 ChatGLM
  - L3.3.1 ChatGLM的特点
  - L3.3.2 ChatGLM的开发环境
  - L3.3.3 ChatGLM的使用示例
- L3.4 LLAMA
  - L3.4.1 LLAMA的特点
  - L3.4.2 LLAMA的开发环境
  - L3.4.3 LLAMA的使用示例
- L3.5 其他大模型介绍