使用Ollama部署本地LLM：构建AI REST API的简易指南

于 2024-10-08 15:06:05 发布
阅读量565 收藏 15
点赞数 16
文章标签： 人工智能 开源 llama 自然语言处理 langchain LLM 大模型部署
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/langchain/article/details/142760309
版权

file

利用Ollama本地LLM（大语言模型）搭建AI的REST API服务是一个实用的方法。下面是一个简单的工作流程。

1. 安装Ollama和LLMs

首先，在本地机器上安装Ollama和本地LLMs。Ollama可以帮助你轻松地在本地部署LLMs，并让它们更方便地处理各种任务。

安装 Ollama

file

Ollama安装界面

file

Ollama下载页面

file

安装应用文件

为Ollama安装LLMs

ollama pull llama3
ollama run llama3

file

下载并运行llama3

file

在本地与llama3对话

Ollama命令

可用的命令：
  /set         设置会话变量
  /show        显示模型信息
  /bye         退出
  /?, /help    帮助命令

使用 "" 开始多行消息

测试Ollama

curl http://localhost:11434/api/generate -d '{  
  "model": "llama3",  
  "prompt": "为什么天空是蓝色的？",  
  "stream": true  
}'

file

如果stream设置为false，响应将是一个完整的JSON对象。

curl http://localhost:11434/api/generate -d '{  
  "model": "llama3",  
  "prompt": "为什么天空是蓝色的？",  
  "stream": false  
}'

file

2. 设置FastAPI

接下来，设置一个Python的FastAPI应用。FastAPI是一个现代、快速（高性能）的Web框架，基于标准的Python类型提示，支持Python 3.7及以上版本。它是构建稳健高效API的理想选择。

编写FastAPI的路由和端点，以便与Ollama服务器进行交互。这个过程包括发送请求给Ollama以处理任务，比如文本生成、语言理解或其他LLM支持的AI任务。以下是一个简单的代码示例（你也可以使用 Ollama Python库 来优化代码）。

from typing import Union
from fastapi import FastAPI
from pydantic import BaseModel
import json
import requests

app = FastAPI(debug=True)

class Itemexample(BaseModel):
    name: str
    prompt: str
    instruction: str
    is_offer: Union[bool, None] = None

class Item(BaseModel):
    model: str
    prompt: str

urls = ["http://localhost:11434/api/generate"]

headers = {
    "Content-Type": "application/json"
}

@app.get("/")
def read_root():
    return {"Hello": "World"}

@app.post("/chat/{llms_name}")
def update_item(llms_name: str, item: Item):
    if llms_name == "llama3":
        url = urls[0]
        payload = {
            "model": "llama3",
            "prompt": "为什么天空是蓝色的？",
            "stream": False
        }
        response = requests.post(url, headers=headers, data=json.dumps(payload))
        if response.status_code == 200:
            return {"data": response.text, "llms_name": llms_name}
        else:
            print("错误:", response.status_code, response.text)
            return {"item_name": item.model, "error": response.status_code, "data": response.text}
    return {"item_name": item.model, "llms_name": llms_name}

测试REST-API服务

curl --location 'http://127.0.0.1:8000/chat/llama3' \
--header 'Content-Type: application/json' \
--data '{
  "model": "llama3",
  "prompt": "为什么天空是蓝色的？"
}'

file

通过API发送Curl请求

file

API日志

3. 部署

当你对REST API的功能和性能感到满意后，可以将此服务部署到生产环境。这可能涉及将其部署到云平台、使用Docker进行容器化，或者在服务器上部署。

在这个简单的示例中，我们通过使用Ollama进行本地LLM部署并结合FastAPI构建REST API服务器，创建了一个免费的AI服务解决方案。你可以通过自己的训练数据对模型进行微调以实现定制用途（我们将在未来讨论）。

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

Langchain
关注
LLM大模型部署实战指南：Ollama部署简化流程，OpenLLM灵活部署，LocalAI本地优化，Dify赋能应用开发【含ollama详细部署指南多版本】
丨汀、的博客
08-13 822
LLM大模型部署实战指南：Ollama简化流程，OpenLLM灵活部署，LocalAI本地优化，Dify赋能应用开发
使用 Ollama 部署本地 LLM：构建AI REST API的简易指南
2201_75499313的博客
09-29 1017
最近这一两周看到不少互联网公司都已经开始秋招提前批面试了。不同以往的是，当前职场环境已不再是那个双向奔赴时代了。求职者在变多，HC 在变少，岗位要求还更高了。最近，我们又陆续整理了很多大厂的面试题，帮助一些球友解惑答疑，分享技术面试中的那些弯弯绕绕。利用Ollama本地LLM（大语言模型）搭建AI的REST API服务是一个实用的方法。下面是一个简单的工作流程。
使用Ollama+OpenWebUI本地部署Gemma谷歌AI开放大模型完整指南
博客之路,前途漫漫
06-05 4782
Ollama是一个开源框架，专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计。它提供了一套简单的工具和命令➡️谷歌的Gemma AI模型是一个多版本的开放式人工智能系统，旨在处理各种复杂的任务，如自然语言处理、计算机视觉、生成模型等。
Ollama：本地大语言模型（LLM）部署 && 使用 Ollama 构建一个智能问答系统
Q的博客
09-18 2340
Ollama,本地大语言模型部署，智能问答系统
Ollama完整教程：本地LLM管理、WebUI对话、Python/Java客户端API应用
python122_的博客
08-06 5607
老牛同学在前面有关大模型应用的文章中，多次使用了等），但对这个非常方便管理本地大模型的软件的介绍却很少。
教你如何使用 ollama 部署本地模型，保姆及教程，一看就会！
python123456_的博客
07-04 8053
在本地启动并运行大型语言模型。运行Llama 2，Code Llama和其他模型。自定义并创建您自己的。
【LLM】Ollama：本地大模型 WebAPI 调用
2303_80346267的博客
09-22 1934
Ollama 是一个基于 Python 的工具，专为本地调用大型语言模型而设计。它提供了用户友好的接口，使开发者能够在本地环境中快速加载和管理模型，简化了大模型的集成与使用流程。Ollama 适用于各种应用场景，包括自然语言处理、对话系统等，旨在提升开发效率和灵活性。
GraphRAG + Ollama 本地部署全攻略：避坑实战指南
2401_84205765的博客
08-30 964
微软开源 GraphRAG 后，热度越来越高，目前 GraphRAG 只支持 OpenAI 的闭源大模型，导致部署后使用范围大大受限，本文通过 GraphRAG 源码的修改，来支持更广泛的 Embedding 模型和开源大模型，从而使得 GraphRAG 的更容易上手使用。需要 Python 3.10-3.12 环境。安装完整后，需要创建一个文件夹，用来存储你的知识数据，目前 GraphRAG 只支持 txt 和 csv 格式。首先，我们需要运行以下命令来初始化。
LLM大模型部署实战指南：Ollama简化流程，OpenLLM灵活部署，LocalAI本地优化，Dify赋能应用开发
python12345_的博客
08-19 1401
参考链接：https://stackoverflow.com/questions/78437376/run-ollama-run-llama3-in-colab-raise-err-error-could-not-connect-to-ollama。作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。参考链接：https://github.com/ollama/ollama/blob/main/docs/faq.md。
大型语言模型 LLM：2023 年完整指南.pdf
04-12
综上所述，大型语言模型作为当前自然语言处理领域的关键技术之一，不仅极大地推动了人工智能技术的发展，也为各行各业带来了前所未有的机遇和挑战。随着技术的不断进步和应用场景的不断扩展，预计未来几年内大型语言...
本地电脑大模型系列之 19 使用 CrewAI 和 Ollama 构建 SQL 代理：综合指南
iCloudEnd的博客
08-10 141
CrewAI 是一个功能强大的框架，用于定义和管理以协调方式执行特定任务的代理。它提供了创建涉及多个代理的复杂工作流所需的工具。另一方面，Ollama 是一种复杂的自然语言处理 (NLP) 工具，可以理解和生成类似人类的文本，使其成为构建和检查 SQL 查询的理想选择。通过结合这两种技术，我们可以创建一个先进的 SQL 代理，能够处理复杂的数据库操作并生成有见地的报告。代理在我们的流程中代表不同的角色。我们将定义三个代理：SQL 开发人员、数据分析师和报告撰写者。
OLLAMA部署qwen:7b,与fastgpt集成
wengad的博客
04-18 3522
它帮助用户快速在本地运行大模型，通过简单的安装指令，可以让用户执行一条命令就在本地运行开源大型语言模型，例如 Llama 2。这里使用的是4.6.8的版本，这里是从github上拉了分支，直接部署在操作系统上的，如果是docker安装，那么请修改对应映射出来的config.local.json,然后重启fastgpt容器即可。注：本文章默认之前fastgpt都已经配置好了，这次只是新增一个qwen:7b的模型对接。在渠道清单中，点击刚才创建的渠道条目的“测试”按钮，如果配置没问题，那么测试可以通过。
毒蘑菇检测数据集 9200张 14类毒蘑菇 带标注 voc yolo
最新发布
阿利同学的博客
10-07 967
毒蘑菇检测数据集 9200张 14类毒蘑菇 带标注 voc yolo
基于Keras的U-Net模型在图像分割与计数中的应用
深度学习实战训练营，一起交流探索深度学习
10-04 1462
网络结构优化：项目基于经典的U-Net模型进行改进，采用了更深的网络层次结构，使模型能够在多尺度上捕捉到图像中的细节信息。特别是针对医学图像分割，项目通过增加卷积层数和引入Dropout层来增强模型的特征提取能力，并有效防止过拟合，从而提高模型在训练数据较少情况下的表现。项目中采用了he_normal初始化器和relu激活函数组合，使得网络在训练时能够更快地收敛，降低梯度消失的风险。自定义数据增强策略：在中实现了一个自定义的图像增强类。
大模型~合集5
whaosoft~aiotの开发板商城
10-02 1648
FLock 的机制设计受到了证明权益（PoS）区块链共识机制和桌面游戏《The Resistance》（一种角色扮演类游戏，该游戏的一个变种叫阿瓦隆）的启发。《The Resistance》游戏则通过投票机制，每轮游戏中玩家独立推理并投票，从而实现全局共识。《The Resistance》有两个不匹配的竞争方，其中较大的一方被称为抵抗力量，另一方被称为间谍。在《The Resistance》中，有一个投票机制，在每一轮中，每个玩家进行独立推理并为一个玩家投票，得票最多的玩家将被视为「间谍」并被踢出游戏。
北大对齐团队深度硬核解读：OpenAI o1开启「后训练」时代强化学习新范式
ys707663989的博客
10-06 1656
本文深入探讨了OpenAI o1的技术细节、的实现、合成数据与推理搜索的优化，以及AI安全的新启示，展示了大语言模型在推理能力提升和安全对齐方面的最新进展与未来方向。
【开源开放体系总结】
m0_53291740的博客
10-06 767
书生・浦语大模型全链路开源开放体系的出现，为人工智能领域的发展带来了新的活力和机遇。它涵盖了从模型研发到应用部署的全流程，旨在促进技术的共享与创新，推动人工智能技术在各个领域的广泛应用。本文将对该体系进行详细总结，探讨其各个组成部分的特点、优势以及对人工智能发展的意义。
树莓派外挂Camera4（pipeline）
fanged的专栏
10-03 614
现在说起Pipeline都有点迷糊了，很多都是这个概念。GStreamer里面有，相机里面有，然后还有别的地方也有。pipeline本身其实没什么特殊的，简单理解就是一段处理。晚上查了一下，确实这几个地方都叫pipeline，然后树莓派还有个自己的Post-processing，也就是后处理。今天主要说camera的和Post-processing的。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值