部署私有化大模型ollama，造一个私人小秘书

最新推荐文章于 2024-09-10 20:55:19 发布

泡椒凤爪面

最新推荐文章于 2024-09-10 20:55:19 发布

阅读量1.4k

点赞数 23

文章标签： AIGC 面试人工智能大数据 windows

本文链接：https://blog.csdn.net/CSDN_224022/article/details/141261355

版权

0.背景

在现在世面有众多的大模型，如果能训练一个私有化的大模型帮助小型公司和个人搭建知识库，定会提高信息检索的效率，ollama框架就是如此。

1. 安装ollama

Ollama是一个由Facebook AI Research开发的开源、轻量级且高效的大型语言模型（LLM）框架。它旨在使研究人员和开发人员能够更轻松地在自己的硬件上部署和运行LLM，而无需专门的云计算资源。

https://ollama.com/download

下载完成并安装。

**注意：**windows 的安装默认不支持修改程序安装目录，默认安装后的目录：C:\Users\username\AppData\Local\Programs\Ollama 默认安装的模型目录：C:\Users\username\ .ollama 默认的配置文件目录：C:\Users\username\AppData\Local\Ollama

由于Ollama的模型默认会在C盘用户文件夹下的.ollama/models文件夹中，可以配置环境变量OLLAMA_MODELS，设置为指定的路径：

变量名为：OLLAMA_MODELS

变量值：D:\Ollama

监听变量：OLLAMA_HOST

监听值：0.0.0.0:11434

其中D:\Ollama是你安装Ollama的位置。

设置好系统变量后需要重启电脑，这样新下载的模型就不会再放置在C盘，而是指定放置在环境变量所对应的位置。

2. 准备具备显卡的主机

至少具备8G的显存，我这里采用4张NVIDIA A2的显卡，在设备管理器里发现已经处于正常驱动状态。

查看显存大小，在运行窗口中输入：dxdiag

切换到显示标签页，找到显示内存（VRAM）一行，我此处为普通电脑。

3. 安装llama3.1

https://ollama.com/library/llama3.1

在命令行中，安装llama3.1模型

# 拉取模型   ollama pull llama3.1   # 运行模型   ollama run llama3.1   # 查看模型例表   ollama list

等待模型拉取。

等待安装完成。

注：ollama会监听11434端口，因此可通过外部接口访问此api

4. 安装maxkb

MaxKB 是一款基于 LLM 大语言模型的知识库问答系统，由飞致云开发。通过MaxKB可以实现在网页上可视化使用大语言模型。本次采用docker-compose.yml 方式部署:

`version: '3'   services:     maxkb:       image: cr2.fit2cloud.com/1panel/maxkb       container_name: maxkb       restart: always       ports:         - "9090:8080"       volumes:         - ~/.maxkb:/var/lib/postgresql/data       network_mode: "host"`

admin密码：MaxKB@123..

API处输入Ollama地址模型的地址，API Key处任意输入。

完成模型的建立。

5. 创建应用

在应用处点击创建应用。

输入自定义的应用名称，我这里输入test。

选择关联好的ai模型，点击右上角的保存并发布。

回到概览，点击演示。可以根据需求修改参数。

即可和大语言模型对话。也可以自定义知识库，上传自己的文档以训练私有模型，大家需要教程的话，后续更新完善。

那么，如何系统的去学习大模型LLM？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

所有资料 ⚡️ ，朋友们如果有需要全套《LLM大模型入门+进阶学习资源包》，扫码获取~

篇幅有限，部分资料如下：

👉LLM大模型学习指南+路线汇总👈

💥大模型入门要点，扫盲必看！
在这里插入图片描述
💥既然要系统的学习大模型，那么学习路线是必不可少的，这份路线能帮助你快速梳理知识，形成自己的体系。

👉大模型入门实战训练👈

💥光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
在这里插入图片描述

👉国内企业大模型落地应用案例👈

💥《中国大模型落地应用案例集》 收录了52个优秀的大模型落地应用案例，这些案例覆盖了金融、医疗、教育、交通、制造等众多领域，无论是对于大模型技术的研究者，还是对于希望了解大模型技术在实际业务中如何应用的业内人士，都具有很高的参考价值。 （文末领取）
在这里插入图片描述
💥《2024大模型行业应用十大典范案例集》 汇集了文化、医药、IT、钢铁、航空、企业服务等行业在大模型应用领域的典范案例。