开箱即用：如何在本地轻松部署大模型（附详细API指南）

想象一下，只需一条简单的命令，你就能在本地运行最前沿的开源大型语言模型，像Llama 2这样的模型再也不需要复杂的配置和部署。这一切，Ollama帮你搞定

一.功能介绍

Ollama是一款开源的大型语言模型服务工具，专为简化和优化在本地运行大型语言模型而设计。它将模型权重、配置和数据捆绑到一个包中，称之为Modelfile。这样，用户无需手动设置和调整模型的细节，只需简单配置即可高效运行。Ollama还针对GPU的使用进行了优化，确保模型运行时的性能最大化。

轻量级

Ollama的代码设计简洁明了，运行时占用的资源非常少。这意味着你不需要昂贵的硬件设备或大量的计算资源，就能在本地高效地运行大型语言模型。更值得一提的是，Ollama支持热加载模型文件，这意味着你可以在不中断当前运行的情况下，随时切换不同的模型，这为实验和开发带来了极大的便利。

易用性

Ollama的安装过程非常简单，提供了多种安装方式，支持Mac和Linux平台，并且还提供了Docker镜像。即使你没有深厚的技术背景，只需按照安装指南操作，就能轻松完成安装和配置。Ollama将复杂的技术简化为易于操作的步骤，让每个人都能快速上手，体验在本地运行大型语言模型的强大功能。通过Ollama，你不仅能节省时间和精力，还能充分利用本地资源，探索大型语言模型的无限可能。无论是研究、开发还是实际应用，Ollama都能为你提供强有力的支持。

二.安装教程

下载地址

链接：https://pan.baidu.com/s/1bvVblTGUmIgg9BtHBMcsqA

提取码：fwln

1.window安装

解压打开安装包，如下图

点击install即可安装成功

2.linux安装

在线安装

sh install.sh 

离线安装

下载ollama二进制文件

Ollama 以独立二进制文件的形式分发。将其下载到 PATH 中的目录中

sudo curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/bin/ollama``#ollama文件已经放在整合包内，直接将ollama文件放入/usr/bin/目录下``sudo chmod +x /usr/bin/ollama

添加 Ollama 作为启动服务（推荐）

为 Ollama 创建用户：

sudo useradd -r -s /bin/false -m -d /usr/share/ollama ollama

在以下位置创建服务文件/etc/systemd/system/ollama.service：

[Unit]``Description=Ollama Service``After=network-online.target``   ``[Service]``ExecStart=/usr/bin/ollama serve``User=ollama``Group=ollama``Restart=always``RestartSec=3``   ``[Install]``WantedBy=default.target

然后启动服务：

sudo systemctl daemon-reload``sudo systemctl enable ollama

三.使用模型

方式一、下载模型

官网地址：https://ollama.com/，进入官网选择模型

点击喜欢的模型，复制对应命令，例：ollama run llama3

等待下载完毕，输入ollama list查看模型

方式二、导入模型

1.新建文件Modelfile

2.输入内容

FROM （这里填写你的路径）

3.创建模型

ollama create test -f Modelfile

4.查看模型，输入ollama list,，显示了我们刚刚导入的模型

5.运行模型,即可对话

ollama run test

启动模型进行会话

输入ollama list查看模型列表

输入以下命令运行模型

ollama run 模型名称

进入会话界面即可开始聊天

按住ctrl+d即可退出模型

四.api调用

1. 启动api服务

ollama serve

2.访问接口

默认端口是localhost:11434

通用方式：

curl http://localhost:11434/api/generate -d '{`  `"model": "llama3",`  `"prompt":"Why is the sky blue?"``}'

openai调用方式（使用与llama模型）

curl --location 'http://localhost:11434/v1/chat/completions' \``--header 'Content-Type: application/json' \``--data '{`  `"messages": [`    `{`      `"content": "你是誰",`      `"role": "system"`    `},`    `{`      `"content": "请用中文回复我下面的问题",`      `"role": "user"`    `}`  `],`  `"model": "模型名称",#注意这里写你模型的名称`  `"stream": false,#是否开启流式对话`  `"max_tokens": 2048,`  `"stop": [`    `"hello"`  `],`  `"frequency_penalty": 0,`  `"presence_penalty": 0,`  `"temperature": 0.7,`  `"top_p": 0.95``}'

那么，如何系统的去学习大模型LLM？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

所有资料 ⚡️ ，朋友们如果有需要全套 《LLM大模型入门+进阶学习资源包》，扫码获取~

篇幅有限，部分资料如下：

👉LLM大模型学习指南+路线汇总👈

💥大模型入门要点，扫盲必看！

💥既然要系统的学习大模型，那么学习路线是必不可少的，这份路线能帮助你快速梳理知识，形成自己的体系。

👉大模型入门实战训练👈

💥光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉国内企业大模型落地应用案例👈

💥《中国大模型落地应用案例集》 收录了52个优秀的大模型落地应用案例，这些案例覆盖了金融、医疗、教育、交通、制造等众多领域，无论是对于大模型技术的研究者，还是对于希望了解大模型技术在实际业务中如何应用的业内人士，都具有很高的参考价值。 （文末领取）

💥《2024大模型行业应用十大典范案例集》 汇集了文化、医药、IT、钢铁、航空、企业服务等行业在大模型应用领域的典范案例。

👉LLM大模型学习视频👈

💥观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。 （文末领取）

👉640份大模型行业报告👈

💥包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

👉获取方式：

这份完整版的大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓