AI大模型本地化微调+部署：使用ollama进行本地化微调+部署

本文链接：https://blog.csdn.net/AAI666666/article/details/144994244

介绍

llama：LLaMA（Large Language Model Meta AI）是由 Meta（原Facebook公司）发布的一系列大型语言模型。这些模型旨在处理和生成自然语言文本，能够执行多种任务，如文本摘要、翻译、问答、文本生成等。LLaMA 模型因其高效的性能和较小的模型尺寸而受到关注，这使得它们能够在资源有限的环境中运行，例如个人计算机或移动设备。
Ollama：是一个开源的大型语言模型服务工具，由 Meta发布。

平台功能

模型运行和管理：Ollama 允许用户在本地机器上运行大型语言模型，提供了简单的 API 来创建、运行和管理模型。
模型库：Ollama 拥有一个丰富的预构建模型库，这些模型可以轻松地集成到各种应用程序中。
多模态模型支持：Ollama 支持多模态模型，能够理解和生成与图像相关的描述。
REST API：Ollama 提供了一个 REST API，用于运行和管理模型，包括生成响应和与模型进行聊天。
跨平台支持：Ollama 支持 macOS、Linux 和 Windows 操作系统，并且可以通过 Docker 容器进行部署。
硬件加速：Ollama 能够识别正在运行的硬件，并在可能的情况下调用 GPU 加速模型的运行。
易用性：Ollama 提供了多种安装方式，简化了安装和配置过程，使得用户即使没有专业背景也能轻松使用。
社区集成：Ollama 拥有丰富的社区生态，提供了多种交互界面和插件，如网页、桌面、终端等，以及 Raycast 插件等。
模型自定义：用户可以通过 Modelfile 自定义模型参数，包括系统提示词、对话模板、模型推理温度等。
开源：作为一个开源项目，Ollama 允许用户查看、修改和贡献代码，促进了社区的协作和发展。

平台优势

Ollama 平台在性能、稳定性和灵活性等方面相比其他 AI 平台具有一些显著的优势：

性能：Ollama 支持 GPU 加速，这使得它在处理大型语言模型（LLMs）时能够提供更快的推理速度。此外，Ollama 允许并发请求，更好地利用 GPU 资源，从而提高吞吐量。
稳定性：Ollama 提供了强大的模型管理功能，包括多版本控制和自动更新，这有助于确保平台的稳定性和模型的持续改进。
灵活性：Ollama 设计上考虑了未来模型的扩展性，易于添加新模型或更新现有模型。它还提供了灵活的安装方式，支持 macOS、Windows 和 Linux 操作系统，并且可以通过 Docker 容器进行部署。
易用性：Ollama 提供了简单的安装和配置过程，使得用户即使没有专业背景也能轻松使用。它还提供了多种交互界面和插件，如网页、桌面、终端等，以及 Raycast 插件等，增加了使用的灵活性。
本地化部署：Ollama 允许在本地机器上运行复杂的 AI 模型，降低了对网络的依赖，提高了数据处理的隐私性。
社区支持：Ollama 拥有活跃的社区和丰富的文档，便于用户学习和交流。
跨平台应用：Ollama 不仅限于 Linux，还提供了跨平台支持，无论使用 Windows、macOS 还是 Linux，都能满足用户的需求。
与 Python 的集成：Ollama 与 Python 的无缝集成，只需几行代码，就可以运行本地语言模型并将其集成到 Python 项目中。
隐私保护：OLLAMA 使所有数据处理在本地设备上完成，这对于用户隐私来说是一大胜利。
多功能性：OLLAMA 不仅适用于 Python 爱好者，其灵活性还使其适用于各种应用，包括 Web 开发。

部署流程

step1 安装Ollama

https://ollama.com/
验证：
http://localhost:11434/
配置环境变量

OLLAMA_MODELS = E:/xxx
OLLAMA_HOST = 0.0.0.0:11434
OLLAMA_ORIGINS = *

step2 下载模型

https://ollama.com/library

step3 安装ollama-webui-lite

https://github.com/ollama-webui/ollama-webui-lite
在这里插入图片描述

验证：
http://localhost:3000/

api接口访问ollama

curl -X POST http://localhost:11434/api/generate -d '{
  "model": "llama3",
  "prompt":"Why is the sky blue?"
 }'

注意：为了其他电脑能够访问，修改源码文件：src/lib/constants.ts，将localhost改为本机IP

在社区获取更多模型

https://huggingface.co/
https://hf-mirror.com/models
选择library-gguf，可通过Chinese进行筛选支持中文的模型。
在这里插入图片描述

下载gguf文件后，使用ollama提供的指令进行加载模型。
https://github.com/ollama/ollama

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

目标：了解AI大模型的基本概念、发展历程和核心原理。
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
- L1.4.1 知识大模型
- L1.4.2 生产大模型
- L1.4.3 模型工程方法论
- L1.4.4 模型工程实践
- L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
内容：
- L2.1 API接口
- L2.1.1 OpenAI API接口
- L2.1.2 Python接口接入
- L2.1.3 BOT工具类框架
- L2.1.4 代码示例
- L2.2 Prompt框架
- L2.3 流水线工程
- L2.4 总结与展望