【搭建AI大模型】从0到1搭建本地大模型，最简单的方法！

前言

最近忙着研究一些新的AI工具，其中一个就是Ollama，可能有些朋友还不太熟悉它，这是一款能让你在本地运行各种大模型的神器。

无论你使用的是PC、Mac，还是小巧玲珑的树莓派，Ollama都能完美适配，真的很方便。

今天就和大家聊聊如何利用Ollama在本地轻松运行大模型，并使用现代化的UI界面和大模型聊天。

好了，废话不多说，进入正题啦！

1、初识Ollama

首先，要使用Ollama，你需要先安装它，这部分其实非常简单，就像那天坐在电脑前吃着薯片，几分钟搞定一样。

你只需要访问Ollama的官网（ollama.com或者ollama.ai），选择适合你操作系统的版本下载。

安装过程不复杂，和其他软件一样，几下点击就搞定了。

安装完成后，打开cmd终端，输入命令`ollama run 模型名称`即可运行，比如：

ollama run llama3.1

这个命令会自动下载并配置对应的大模型文件，非常省心。

如果你对有哪些模型可以使用不太清楚，可以去Ollama官网看看，每种模型都有详细介绍和版本选择。

一般来说，7B的模型需要至少8G内存，13B需要16G内存，33B需要32G内存。

一定要根据自己的硬件配置来选择，否则运行时有可能会很卡。

2、Open WebUI：大模型伴侣

在默认设置下，你需要在终端中和大模型进行交互，虽然这是个不错的选择，但看着一长串代码和黑色背景，实在有些沉闷。

如果你也觉得如此，不妨试试Open WebUI，这个工具可以给你带来更现代化的操作体验。

安装Docker，这是一个虚拟容器工具，简单来讲，Docker就像一个万能的小盒子，把所有环境依赖都装到一个盒子里，运行起来特别方便。

访问Docker官网：

https://www.docker.com/products/docker-desktop

下载对应操作系统的Docker安装包并安装。

安装好Docker后，在终端执行Open WebUI的安装命令：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

不出意外的话几分钟后，你就能在本地浏览器上打开一个简洁友好的Web界面，这下再也不用面对黑乎乎的终端了。

3、打造本地知识库

Open WebUI不仅能让你和大模型轻松互动，还支持RAG（Retrieval-Augmented Generation）能力，这意味着你可以让大模型参考网页和文档内容。

如果你想让大模型读取某个网页的内容，只需在链接前加上“#”。例如提示词：“读取这个网页的内容，#https://example.com”。

如果你要读取文档内容，可以直接在对话框中导入文件，或者到Documents页面上传。

这样一来，所有文档都能成为大模型的参考资料，大大提升工作的效率和效果。

在对话框中输入“#”，会显示出所有已导入的文档，你可以选择其中一个或者多个，甚至可以让大模型参考所有的文档。

无论是工作上的文档管理还是个人知识储备，这个功能相当于打造了一个高效的本地知识库。

借助Ollama+Open WebUI这样的工具，我们每个人都能拥有自己的专属AI大模型，个人能力加倍放大。

最后的最后

感谢你们的阅读和喜欢，作为一位在一线互联网行业奋斗多年的老兵，我深知在这个瞬息万变的技术领域中，持续学习和进步的重要性。

为了帮助更多热爱技术、渴望成长的朋友，我特别整理了一份涵盖大模型领域的宝贵资料集。

这些资料不仅是我多年积累的心血结晶，也是我在行业一线实战经验的总结。

这些学习资料不仅深入浅出，而且非常实用，让大家系统而高效地掌握AI大模型的各个知识点。如果你愿意花时间沉下心来学习，相信它们一定能为你提供实质性的帮助。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

大模型知识脑图

为了成为更好的 AI大模型 开发者，这里为大家提供了总的路线图。它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

经典书籍阅读

阅读AI大模型经典书籍可以帮助读者提高技术水平，开拓视野，掌握核心技术，提高解决问题的能力，同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说，阅读经典书籍是非常有必要的。

实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

面试资料

我们学习AI大模型必然是想找到高薪的工作，下面这些面试题都是总结当前最新、最热、最高频的面试题，并且每道题都有详细的答案，面试前刷完这套面试题资料，小小offer，不在话下

640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】