零基础也能搞定！快速搭建本地大型语言模型指南

于 2024-10-11 21:00:49 发布
阅读量579 收藏 10
点赞数 15
文章标签： 语言模型 人工智能 自然语言处理 大数据 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lvaolan/article/details/142863218
版权

1、前言

​ 在这篇文章中，我们将介绍如何在本地快速、简单地搭建属于自己的大型语言模型，实现自由自在的本地对话。整个过程不需高深技术，只需要具备下载程序、安装程序、执行命令行的基础技能，无需科学上网即可完成。

在这里插入图片描述

2、为什么需要本地的大语言模型​

  1. 随时随地使用AI：使用AI已经成为我们日常工作的一部分，相当于第二大脑。不论是写文章、写代码还是回邮件，都离不开它。商用的大模型需要联网使用，但是打工人随时随地都有被召唤工作的可能。有了本地大模型，不论是在地铁、高铁、飞机上，可以在无网络环境下使用AI。

  2. 数据安全：商用的大模型在对话过程中，会将内容用于自身的训练。就像下图Google gemini的说明，其他商用大模型也会有类似的说明

    在这里插入图片描述

    如果对话涉及个人隐私或公司机密，存在数据泄漏的风险。本地模型可以有效避免这种问题。

  3. 执行特定领域模型：商用模型多为通用型，但在医学、金融、工程等领域，存在专属的大型语言模型。通过本地部署，可以运行这些特定功能的模型，甚至公司可以根据业务需求训练专用模型供内部使用。

    下面的示例是由复旦大学数据智能与社会计算实验室 (Fudan-DISC)开发并开源DISC-MedLLM，是一个专门针对医疗健康对话式场景而设计的医疗领域大模型

在这里插入图片描述

3、如何搭建本地大型语言模型

我们依照下面的步骤来搭建大模型

  1. 安装大模型执行程序

    我们选择使用 Ollama，一个开源框架，用于本地运行大型语言模型（LLM）。它的主要特点包括：

  • 简化部署：Ollama使得管理和运行模型变得更加容易。
  • 捆绑模型组件：将模型权重、配置和数据捆绑到一个包中，称为Modelfile，优化设置和配置细节，包括GPU使用情况。
  • 支持多种模型：支持多种大型语言模型，如Llama 2、Code Llama、Mistral、Gemma等，用户可以根据需求定制和创建模型。
  • 内建开放API：安装后即提供API，支持其他应用通过API调用其对话功能。

安装非常简单，可访问 Ollama官网 https://ollama.com/download 进行下载。下载后执行安装即可

在这里插入图片描述

2. 选择合适的大模型

除了商用模型如ChatGPT、文心一言，还有很多开源模型可供选择。推荐中文模型“阿里的通义千问”，其特点包括：

  • 中文开放域通用模型：支持中文开放域语言表达检测和标注。

  • 多语言对话模型：支持多语言对话，能识别图片中的中英双语长文本。

  • 全尺寸、全模态开源：提供从18亿到720亿参数规模的模型，以及视觉理解、音频理解的多模态模型。

    在Ollama上安装通义千问也很简单，只需命令行执行

ollama run qwen:1.8b

下载速度快

在这里插入图片描述

安装完成后即可开始对话。

在这里插入图片描述

​ 通义千问提供参数不同大小的模型，模型越大性能越强，对话的内容也更丰富，但需要更多的显卡内存。查看电脑显卡内存，可打开任务管理器，切换到性能页查看GPU内存大小。

​ 下面整理不同模型大小执行时需要的GPU内存大小

参数规模模型大小GPU内存大小
0.5b394 MB1.3 GB
1.8b1.1 GB2.0 GB
4b2.3 GB3.5 GB
7b4.5 GB6.5 GB
14b8.2 GB10.5 GB
32b18 GB18.8 GB

最佳策略：是在小于电脑显卡的内存的条件下，选择最大的模型

3. 安装Web界面

除了命令行模式，我们还可以使用类似ChatGPT的Web界面工具来增加我们的使用体验，这个工具是Open Webui。这个界面不单单是介面还包含对话历史、文件解析、多用户管理的功能，所以官方使用打包成一个docker安装使用，安装步骤也很简单

(1)安装Windows Docker：访问Docker官网下载 https://docs.docker.com/desktop/install/windows-install/ Windows桌面版并安装。

在这里插入图片描述

(2)执行命令行指令：

安装docker

docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

(3) 连接到本地Web界面: 打开浏览器，访问 http://localhost:3000。第一次使用需注册Email，此步骤仅为本地身份验证，用来区分不同账号，企业也可以用不同账号让员工在内网使用。

在这里插入图片描述

（4）开始使用：注册完成后即可开始使用Web界面。

在这里插入图片描述

通过以上步骤，您已成功在本地搭建了自己的大型语言模型，享受随时随地、安全高效的AI对话体验。

4、结语

​ 总的来说,搭建一个本地的大模型并不困难,只需要几个简单的步骤。拥有一个专属的AI助手,不仅可以随时随地使用,还可以避免敏感数据泄露的风险。对于个人用户或企业来说,本地大模型绝对是一个值得尝试的选择,它将为工作和生活带来全新的体验。

​

读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

在这里插入图片描述

👉大模型视频和PDF合集👈

观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

在这里插入图片描述

在这里插入图片描述

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

网安猫叔
关注
在本地运行大型语言模型 (LLM) 的六种方法（2024 年 1 月）
gongdiwudu的专栏
02-05 1万+
这篇文章被称为“本地运行大型语言模型 (LLM) 的五种方法”，于 2024 年 1 月更新了有关vLLM的内容。虽然 vLLM 于 2023 年 6 月发布，但它最近获得了更多关注。因此，我想将其添加到此列表中。
Spring Boot入门(15)：【实战教程】Spring Boot + MyBatis-Plus 自动生成骨架代码，告别枯燥的重复劳动！
**My Coding Family**
05-08 3035
Spring Boot 整合 MyBatis-Plus AutoGenerator 自动生成项目骨架代码，一文教会你。
如何拥有自己的本地大语言模型
qq_43813795的博客
03-13 6099
如何搭建一个自己的本地大模型，chatglm3-6b，spring-ai
怎么建立大型语言模型
diannao720的博客
08-08 2033
模型训练：使用收集到的预处理数据对选定的模型进行训练。对抗训练：为了提高模型的生成质量和鲁棒性，可以采用对抗训练的方法。超参数调优：通过调优模型的超参数（如学习率、批量大小、模型深度等）来进一步改善模型的性能和收敛速度。模型评估：使用一系列评估指标来评估训练后的语言模型的性能，例如困惑度、BLEU分数、人工评估等。构建词汇表：基于数据集构建词汇表，即将文本中的单词或子词映射到唯一的标识符，用于输入模型的编码过程。然而，这是一个复杂且资源密集的过程，并且通常需要大量的数据和计算资源来训练和调优模型。
从零开始构建大语言模型（MEAP）
龙哥盟
04-29 1694
LLM，即大型语言模型，是一种设计用于理解、生成和回应类似人类文本的神经网络。这些模型是在大量文本数据上训练的深度神经网络，有时包括互联网上整个可公开获取文本的大部分内容。"大型"语言模型中的"大"既指模型在参数方面的规模，也指其所训练的庞大数据集。这样的模型通常具有数百亿甚至数百亿个参数，这些参数是网络中的可调权重，在训练过程中进行优化，以预测序列中的下一个词。下一个词的预测是合理的，因为它利用了语言固有的顺序性质来训练模型，使其理解文本中的上下文、结构和关系。
【FastAPI部署指南】：无缝从本地到云的部署策略，新手也能轻松搞定
[【FastAPI部署指南】：无缝从本地到云的部署策略，新手也能轻松搞定](https://res.cloudinary.com/practicaldev/image/fetch/s--dNWldta8--/c_imagga_scale,f_auto,fl_progressive,h_420,q_auto,w_1000/...
【FastAPI多语言支持】：国际化和本地化，一文搞定多语言部署
[【FastAPI多语言支持】：国际化和本地化，一文搞定多语言部署](https://segmentfault.com/img/remote/1460000018998097) # 1. FastAPI多语言支持概述 在当今的IT领域，全球化的应用程序需求日益增长，为不同语言和...
初学AI的你也能一键部署模型服务？奥利给！！
Oner.wv的专栏
01-07 1511
作者：Leon Wang，现为中科院特别研究助理 (博士后)，在 AI、数据科学和科学计算等方面相关的工程实践上积累了丰富的经验。编辑：王老湿《AI炼丹炉实践指南》专栏前 6 篇：学了不...
百篇论文博文导航AI工程之路：FT、KG、RAG与Agent技术全方位探索
丨汀、的博客
07-08 450
百篇论文博文导航AI工程之路：FT、KG、RAG与Agent技术全方位探索
本地大语言模型部署及应用
最新发布
INSBUG的博客
09-02 815
在开始之前，首先我们需要安装Ollama客户端，来进行本地部署Llama3.1大模型（Ollama 是一个便于本地部署和运行大型语言模型（Large Language Models, LLMs）的工具。安装llama3.1-405b，这是一个极其庞大的模型，安装和运行它在本地需要非常高的显存和硬件资源，至少需要大约 400-450 GB 显存，适合顶级大企业用户，安装命令就是。配置接口地址为：http://localhost:11434 ，自定义模型名称为：llama3.1，就可以开始使用了。
部署自己的大语言模型的 5 种方法
aolan123的博客
07-16 1077
【导语】从零开始构建一个新的大语言模型（LLM）可能会花费公司数百万甚至上亿的成本。但有几种方法可以部署定制的 LLM，它们更快、更简单，更重要的是，成本更低。这是历史上发展最快的新技术。生成式人工智能正在改变世界，改变我们创建图像、视频、音频、文本和代码的方式。根据戴尔公司 9 月份对 IT 决策者进行的一项调查，76% 的人表示，生成式人工智能将对他们的组织产生 “重大（如果不是变革性的）”影响，而且大多数人预计将在未来 12 个月内看到有意义的成果。大语言模型（LLM）是生成式人工智能的一种。
在本地跑一个大语言模型
阿不的博客
03-04 2691
随着ChatGPT的兴起，LLM (Large Language Model，大语言模型) 已经成为人工智能和自然语言处理领域的热门话题。本篇文章我将和大家一起在自己的个人电脑上运行一个大语言模型。
零基础搭建本地大模型
2301_76161259的博客
06-11 1594
1.可以搭建多个本地模型，根据需求选择不同的模型。2.可以更新模型。3.选择是否需要以图形化界面的方式进行，也可以通过命令行的方式。4.Docker会安装在系统盘下，其大小约7GB左右，电脑实测11GB不够用。5.本地电脑的性能确实影响了对话的速度，提完一个问题后，可以先做其它的事，然后等答案的呈现。
你想在本地部署大模型吗？本地部署大模型的三种工具
xx_nm98的博客
06-15 2441
人工智能的发展如火如荼，也让越来越多的人了解到人工智能；而对大部分人来说使用的都是第三方提供的客户端，不论是网页版，还是PC端或移动端。那么，我们怎么在本地部署一款大模型呢？下面就来介绍三种工具。
搭建本地大模型和知识库最简单的方法
程序员鑫港的博客
05-28 1313
每款大模型都有不同版本，根据自己的机器来选择，根据官网的文档也说明了，一般7B的模型至少需要8G的内存，13B的模型至少需要16G内存，70B的模型至少需要64G内存。作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。ollama没有界面化的页面使用，它是在终端里交互的，所有我们要使用图形化的界面里去操作，这是我们可以使用Open WebUI。不管你是在PC上跑大模型，在Mac上跑大模型，还有在树莓派上跑大模型，
六种本地化运行大语言模型的方法
qq_46094651的博客
08-14 849
(开源的)大语言模型（LLMs），特别在Meta发布了LLaMA之后，Llama 2更逐步完善且被应用于更广泛的领域在本文中，我想演示在本地运行此类模型的六种方法，即在您的计算机上运行。这对于在助手角色中使用此类模型可能很有用，类似于您在浏览器中使用 ChatGPT 的方式。但是，这对于试验模型或部署与 OpenAI 兼容的 API 端点进行应用程序开发也有所帮助。请注意，我只关注 GPT 风格的文本到文本模型。也就是说，可以使用类似的工具来运行其他模型（例如，StableDiffusion）。
用LangChain构建大语言模型应用
略懂……略懂……
05-01 7395
LangChain 是一个开源 Python 库，任何可以编写代码的人都可以使用它来构建 LLM 支持的应用程序。 该包为许多基础模型提供了通用接口，支持提示管理，并在撰写本文时充当其他组件（如提示模板、其他 LLM、外部数据和其他工具）的中央接口。
5分钟在MAC下本地搭建大模型
wushakun的博客
03-26 2812
Ollama——一个简明易用的本地大模型运行框架。随着围绕着 Ollama 的生态走向前台，更多用户也可以方便地在自己电脑上玩转大模型了。Ollama 的目标是帮助开发者在本地运行、创建和共享大型语言模型。Ollama 目前处于早期预览阶段，但已经提供了一些核心功能。例如，它支持运行和对话 Llama 2，这是 Meta 新推出的模型。此外，Ollama 还提供了一个模型库，开发者可以在这里下载和使用各种开源模型。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值