1、前言
在这篇文章中,我们将介绍如何在本地快速、简单地搭建属于自己的大型语言模型,实现自由自在的本地对话。整个过程不需高深技术,只需要具备下载程序、安装程序、执行命令行的基础技能,无需科学上网即可完成。
2、为什么需要本地的大语言模型
-
随时随地使用A****I:使用AI已经成为我们日常工作的一部分,相当于第二大脑。不论是写文章、写代码还是回邮件,都离不开它。商用的大模型需要联网使用,但是打工人随时随地都有被召唤工作的可能。有了本地大模型,不论是在地铁、高铁、飞机上,可以在无网络环境下使用AI。
-
数据安全:商用的大模型在对话过程中,会将内容用于自身的训练。就像下图Google gemini的说明,其他商用大模型也会有类似的说明
如果对话涉及个人隐私或公司机密,存在数据泄漏的风险。本地模型可以有效避免这种问题。
-
执行特定领域模型:商用模型多为通用型,但在医学、金融、工程等领域,存在专属的大型语言模型。通过本地部署,可以运行这些特定功能的模型,甚至公司可以根据业务需求训练专用模型供内部使用。
下面的示例是由复旦大学数据智能与社会计算实验室 (Fudan-DISC)开发并开源DISC-MedLLM,是一个专门针对医疗健康对话式场景而设计的医疗领域大模型
3、如何搭建本地大型语言模型
我们依照下面的步骤来搭建大模型
-
安装大模型执行程序
我们选择使用 Ollama,一个开源框架,用于本地运行大型语言模型(LLM)。它的主要特点包括:
- 简化部署:Ollama使得管理和运行模型变得更加容易。
- 捆绑模型组件:将模型权重、配置和数据捆绑到一个包中,称为Modelfile,优化设置和配置细节,包括GPU使用情况。
- 支持多种模型:支持多种大型语言模型,如Llama 2、Code Llama、Mistral、Gemma等,用户可以根据需求定制和创建模型。
- 内建开放API**:**安装后即提供API,支持其他应用通过API调用其对话功能。
安装非常简单,可访问 Ollama官网 https://ollama.com/download 进行下载。下载后执行安装即可
2. 选择合适的大模型
除了商用模型如ChatGPT、文心一言,还有很多开源模型可供选择。推荐中文模型“阿里的通义千问”,其特点包括:
-
中文开放域通用模型:支持中文开放域语言表达检测和标注。
-
多语言对话模型:支持多语言对话,能识别图片中的中英双语长文本。
-
全尺寸、全模态开源:提供从18亿到720亿参数规模的模型,以及视觉理解、音频理解的多模态模型。
在Ollama上安装通义千问也很简单,只需命令行执行
ollama run qwen:1.8b
下载速度快
安装完成后即可开始对话。
通义千问提供参数不同大小的模型,模型越大性能越强,对话的内容也更丰富,但需要更多的显卡内存**。**查看电脑显卡内存,可打开任务管理器,切换到性能页查看GPU内存大小。
下面整理不同模型大小执行时需要的GPU内存大小
参数规模 | 模型大小 | GPU内存大小 |
---|---|---|
0.5b | 394 MB | 1.3 GB |
1.8b | 1.1 GB | 2.0 GB |
4b | 2.3 GB | 3.5 GB |
7b | 4.5 GB | 6.5 GB |
14b | 8.2 GB | 10.5 GB |
32b | 18 GB | 18.8 GB |
最佳策略:是在小于电脑显卡的内存的条件下,选择最大的模型
3. 安装Web界面
除了命令行模式,我们还可以使用类似ChatGPT的Web界面工具来增加我们的使用体验,这个工具是Open Webui。这个界面不单单是介面还包含对话历史、文件解析、多用户管理的功能,所以官方使用打包成一个docker安装使用,安装步骤也很简单
(1)安装Windows Docker:访问Docker官网下载 https://docs.docker.com/desktop/install/windows-install/ Windows桌面版并安装。
(2)执行命令行指令:
安装docker
docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda
(3) 连接到本地Web界面: 打开浏览器,访问 http://localhost:3000。第一次使用需注册Email,此步骤仅为本地身份验证,用来区分不同账号,企业也可以用不同账号让员工在内网使用。
(4)开始使用:注册完成后即可开始使用Web界面。
通过以上步骤,您已成功在本地搭建了自己的大型语言模型,享受随时随地、安全高效的AI对话体验。
4、结语
总的来说,搭建一个本地的大模型并不困难,只需要几个简单的步骤。拥有一个专属的AI助手,不仅可以随时随地使用,还可以避免敏感数据泄露的风险。对于个人用户或企业来说,本地大模型绝对是一个值得尝试的选择,它将为工作和生活带来全新的体验。
如何学习AI大模型?
作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
一、全套AGI大模型学习路线
AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!
二、640套AI大模型报告合集
这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。
三、AI大模型经典PDF籍
随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。
四、AI大模型商业化落地方案
作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。