零基础也能搞定！快速搭建本地大型语言模型指南

1、前言

​ 在这篇文章中，我们将介绍如何在本地快速、简单地搭建属于自己的大型语言模型，实现自由自在的本地对话。整个过程不需高深技术，只需要具备下载程序、安装程序、执行命令行的基础技能，无需科学上网即可完成。

2、为什么需要本地的大语言模型

​

1. 随时随地使用A****I：使用AI已经成为我们日常工作的一部分，相当于第二大脑。不论是写文章、写代码还是回邮件，都离不开它。商用的大模型需要联网使用，但是打工人随时随地都有被召唤工作的可能。有了本地大模型，不论是在地铁、高铁、飞机上，可以在无网络环境下使用AI。

2. 数据安全：商用的大模型在对话过程中，会将内容用于自身的训练。就像下图Google gemini的说明，其他商用大模型也会有类似的说明

   

   如果对话涉及个人隐私或公司机密，存在数据泄漏的风险。本地模型可以有效避免这种问题。

3. 执行特定领域模型：商用模型多为通用型，但在医学、金融、工程等领域，存在专属的大型语言模型。通过本地部署，可以运行这些特定功能的模型，甚至公司可以根据业务需求训练专用模型供内部使用。

   下面的示例是由复旦大学数据智能与社会计算实验室 (Fudan-DISC)开发并开源DISC-MedLLM，是一个专门针对医疗健康对话式场景而设计的医疗领域大模型

3、如何搭建本地大型语言模型

我们依照下面的步骤来搭建大模型

1. 安装大模型执行程序

   我们选择使用 Ollama，一个开源框架，用于本地运行大型语言模型（LLM）。它的主要特点包括：

• 简化部署：Ollama使得管理和运行模型变得更加容易。
• 捆绑模型组件：将模型权重、配置和数据捆绑到一个包中，称为Modelfile，优化设置和配置细节，包括GPU使用情况。
• 支持多种模型：支持多种大型语言模型，如Llama 2、Code Llama、Mistral、Gemma等，用户可以根据需求定制和创建模型。
• 内建开放API**：**安装后即提供API，支持其他应用通过API调用其对话功能。

安装非常简单，可访问 Ollama官网 https://ollama.com/download 进行下载。下载后执行安装即可

2. 选择合适的大模型

除了商用模型如ChatGPT、文心一言，还有很多开源模型可供选择。推荐中文模型“阿里的通义千问”，其特点包括：

• 中文开放域通用模型：支持中文开放域语言表达检测和标注。

• 多语言对话模型：支持多语言对话，能识别图片中的中英双语长文本。

• 全尺寸、全模态开源：提供从18亿到720亿参数规模的模型，以及视觉理解、音频理解的多模态模型。

  在Ollama上安装通义千问也很简单，只需命令行执行

ollama run qwen:1.8b

下载速度快

安装完成后即可开始对话。

​ 通义千问提供参数不同大小的模型，模型越大性能越强，对话的内容也更丰富，但需要更多的显卡内存**。**查看电脑显卡内存，可打开任务管理器，切换到性能页查看GPU内存大小。

​ 下面整理不同模型大小执行时需要的GPU内存大小

参数规模	模型大小	GPU内存大小
0.5b	394 MB	1.3 GB
1.8b	1.1 GB	2.0 GB
4b	2.3 GB	3.5 GB
7b	4.5 GB	6.5 GB
14b	8.2 GB	10.5 GB
32b	18 GB	18.8 GB

最佳策略：是在小于电脑显卡的内存的条件下，选择最大的模型

3. 安装Web界面

除了命令行模式，我们还可以使用类似ChatGPT的Web界面工具来增加我们的使用体验，这个工具是Open Webui。这个界面不单单是介面还包含对话历史、文件解析、多用户管理的功能，所以官方使用打包成一个docker安装使用，安装步骤也很简单

(1)安装Windows Docker：访问Docker官网下载 https://docs.docker.com/desktop/install/windows-install/ Windows桌面版并安装。

(2)执行命令行指令：

安装docker

docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

(3) 连接到本地Web界面: 打开浏览器，访问 http://localhost:3000。第一次使用需注册Email，此步骤仅为本地身份验证，用来区分不同账号，企业也可以用不同账号让员工在内网使用。

（4）开始使用：注册完成后即可开始使用Web界面。

通过以上步骤，您已成功在本地搭建了自己的大型语言模型，享受随时随地、安全高效的AI对话体验。

4、结语

​ 总的来说,搭建一个本地的大模型并不困难,只需要几个简单的步骤。拥有一个专属的AI助手,不仅可以随时随地使用,还可以避免敏感数据泄露的风险。对于个人用户或企业来说,本地大模型绝对是一个值得尝试的选择,它将为工作和生活带来全新的体验。

​

如何学习AI大模型？

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。