AI大模型本地部署全攻略：轻松实现模型运行

已经是2024年了，但貌似AI大模型的热度依旧未减，各种如ChatGPT般的生成式的AI大模型层出不穷，由此而来的还有各种网站、小程序都可以支持AI大模型对话，那么你有没有想过能拥有一个自己的AI大模型？

今天我就来给大家分享一下如何本地跑一个AI大模型，通过简单的安装后即使不需要联网也能使用。其本质就是把训练好的AI模型下载到本地，然后通过特定的客户端调用，从而达到在本地使用AI大模型的效果，话不多说，开始分享。

当然需要先介绍下今天的主角ollama， 它是一个专门用来运行大语言模型的框架，也可以叫做工具，它在官网的介绍也只有一句话"Get up and running with largelanguage models."（开始使用大型语言模型）。

官网地址：ollama.com/

Github开源仓库：github.com/ollama/olla…

下载地址：ollama.com/download

本地运行大模型基本上有4步：

• 安装ollama
• 下载模型
• 运行模型
• 对接Web客户端

下面我们开始：

（1）下载并安装ollama客户端

下载页面地址：

安装目前所使用的操作系统选择性下载，然后傻瓜式安装就可以了：

（2）安装适用的大模型

我们首先按照提示安装llama2模型，当然Github仓库的README里也有对其他模型的支持，参数数量和模型的大小都有简单的说明。

下面有一个说明，翻译过来就是：

您应该至少有8GB的内存才能运行7B的大模型，16GB内存可用于运行13B的大模型，32GB内存可用于执行33B的大模型。

（3）运行大模型

我们先通过终端问它一个问题：Do you know Go language？

然后它就会以流式的输出形式来回答你，所谓流式，其实就是慢慢悠悠，一个字一个字的回答你，和人说话一样一句一句的讲。

然后我们在试下它的上下文理解能力，和它说：use it to implement Http service。

它直接使用Go语言实现了一个HTTP服务，看来它是有天然的上下文理解能力的。

（4）安装Web客户端

ollama已经帮我们收集了社区中可以当做客户端使用的工具，这里就不做演示了，大家可以安装各个仓库对应的说明文档进行安装和使用!

到这里就结束了，另外给大家一个小提示，本地跑大模型是很消耗电脑CPU和显卡的事情，如果电脑配置比较差的话可能体验会不是很好，并且长时间运行也可能对电脑有一定的影响，大家适度尝试即可~

大模型&AI产品经理如何学习

求大家的点赞和收藏，我花2万买的大模型学习资料免费共享给你们，来看看有哪些东西。

1.学习路线图

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

2.视频教程

网上虽然也有很多的学习资源，但基本上都残缺不全的，这是我自己整理的大模型视频教程，上面路线图的每一个知识点，我都有配套的视频讲解。

（都打包成一块的了，不能一一展开，总共300多集）

因篇幅有限，仅展示部分资料，需要点击下方图片前往获取

3.技术文档和电子书

这里主要整理了大模型相关PDF书籍、行业报告、文档，有几百本，都是目前行业最新的。

4.LLM面试题和面经合集

这里主要整理了行业目前最新的大模型面试题和各种大厂offer面经合集。

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓