私有化部署 Llama3 大模型, 支持 API 访问_ollama 利用api 接口 开发web

于 2024-07-24 14:27:13 发布
阅读量771 收藏 20
点赞数 22
文章标签： 前端 embedding bert 人工智能 AIGC 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_85280228/article/details/140662273
版权

通过 ollama 本地运行 Llama3 大模型其实对我们开发来说很有意义，你可以私有化放服务上了。

然后通过 api 访问，来处理我们的业务，比如翻译多语言、总结文章、提取关键字等等。

你也可以安装 enchanted 客户端去直接访问这个服务 api 使用。

参考

https://llama.meta.com/llama3/

https://ollama.com/

https://github.com/ollama/ollama

https://github.com/ollama/ollama/blob/main/docs/api.md

https://github.com/sugarforever/chat-ollama

https://github.com/AugustDev/enchanted

Llama3

https://llama.meta.com/llama3/

llama3

https://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md

Model Architecture

安全性

https://llama.meta.com/trust-and-safety/

Responsible LLM Product Development Stages graphic

https://www.meta.ai/

meta ai chat

步骤

安装 ollama

https://ollama.com/

ollama

安装 Llama3 8b 模型

https://ollama.com/library

https://ollama.com/library/llama3

模型选择

llama3

安装命令

$ ollama run llama3
访问 api 服务

https://github.com/ollama/ollama/blob/main/docs/api.md

curl http://localhost:11434/api/generate -d '{       "model":"llama3",       "prompt": "请分别翻译成中文、韩文、日文 -> Meta Llama 3: The most capable openly available LLM to date",       "stream": false   }'

参数解释如下：

  • model（必需）：模型名称。

  • prompt：用于生成响应的提示文本。

  • images（可选）：包含多媒体模型（如llava）的图像的base64编码列表。

高级参数（可选）：

  • format：返回响应的格式。目前仅支持json格式。

  • options：模型文件文档中列出的其他模型参数，如温度（temperature）。

  • system：系统消息，用于覆盖模型文件中定义的系统消息。

  • template：要使用的提示模板，覆盖模型文件中定义的模板。

  • context：从先前的/generate请求返回的上下文参数，可以用于保持简短的对话记忆。

  • stream：如果为false，则响应将作为单个响应对象返回，而不是一系列对象流。

  • raw：如果为true，则不会对提示文本应用任何格式。如果在请求API时指定了完整的模板化提示文本，则可以使用raw参数。

  • keep_alive：控制模型在请求后保持加载到内存中的时间（默认为5分钟）。

返回 json 数据

{       "model": "llama3",       "created_at": "2024-04-23T08:05:11.020314Z",       "response": "Here are the translations:\n\n**Chinese:** 《Meta Llama 3》：迄今最强大的公开可用的LLM\n\n**Korean:** 《Meta Llama 3》：현재 가장 강력한 공개 사용 가능한 LLM\n\n**Japanese:**\n\n《Meta Llama 3》：現在最強の公開使用可能なLLM\n\n\n\nNote: (Meta Llama 3) is a literal translation, as there is no direct equivalent for \"Meta\" in Japanese. In Japan, it's common to use the English term \"\" or \"\" when referring to Meta.",       "done": true,       "context": [           ...       ],       "total_duration": 30786629492,       "load_duration": 3000782,       "prompt_eval_count": 32,       "prompt_eval_duration": 6142245000,       "eval_count": 122,       "eval_duration": 24639975000   }

返回值的解释如下：

  • total_duration：生成响应所花费的总时间。

  • load_duration：以纳秒为单位加载模型所花费的时间。

  • prompt_eval_count：提示文本中的标记（tokens）数量。

  • prompt_eval_duration：以纳秒为单位评估提示文本所花费的时间。

  • eval_count：生成响应中的标记数量。

  • eval_duration：以纳秒为单位生成响应所花费的时间。

  • context：用于此响应中的对话编码，可以在下一个请求中发送，以保持对话记忆。

  • response：如果响应是以流的形式返回的，则为空；如果不是以流的形式返回，则包含完整的响应。

要计算生成响应的速度，以标记数每秒（tokens per second，token/s）为单位，可以将 eval_count / eval_duration 进行计算。

ollama 生态

https://github.com/ollama/ollama

  • 客户端 桌面、Web

  • 命令行工具

  • 数据库工具

  • 包管理工具

  • 类库

桌面 enchanted 客户端

https://github.com/AugustDev/enchanted

enchanted

设置服务器地址

ollama server url

提问使用

enchanted

代码

https://github.com/ollama/ollama

小结

感谢阅读本文

如果有什么建议，请在评论中让我知道。我很乐意改进。

flutter 学习路径

  • Flutter 优秀插件推荐 https://flutter.ducafecat.com

  • Flutter 基础篇1 - Dart 语言学习 https://ducafecat.com/course/dart-learn

  • Flutter 基础篇2 - 快速上手 https://ducafecat.com/course/flutter-quickstart-learn

  • Flutter 实战1 - Getx Woo 电商APP https://ducafecat.com/course/flutter-woo

  • Flutter 实战2 - 上架指南 Apple Store、Google Play https://ducafecat.com/course/flutter-upload-apple-google

  • Flutter 基础篇3 - 仿微信朋友圈 https://ducafecat.com/course/flutter-wechat

  • Flutter 实战3 - 腾讯 tim 即时通讯开发 https://ducafecat.com/course/flutter-tim

那么，如何系统的去学习大模型LLM？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

所有资料 ⚡️ ，朋友们如果有需要全套 《LLM大模型入门+进阶学习资源包》，扫码获取~

篇幅有限，部分资料如下：

👉LLM大模型学习指南+路线汇总👈

💥大模型入门要点，扫盲必看！
在这里插入图片描述
💥既然要系统的学习大模型，那么学习路线是必不可少的，这份路线能帮助你快速梳理知识，形成自己的体系。
在这里插入图片描述

👉大模型入门实战训练👈

💥光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
在这里插入图片描述

👉国内企业大模型落地应用案例👈

💥《中国大模型落地应用案例集》 收录了52个优秀的大模型落地应用案例，这些案例覆盖了金融、医疗、教育、交通、制造等众多领域，无论是对于大模型技术的研究者，还是对于希望了解大模型技术在实际业务中如何应用的业内人士，都具有很高的参考价值。 （文末领取）
在这里插入图片描述
💥《2024大模型行业应用十大典范案例集》 汇集了文化、医药、IT、钢铁、航空、企业服务等行业在大模型应用领域的典范案例。

在这里插入图片描述

👉LLM大模型学习视频👈

💥观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。 （文末领取）
在这里插入图片描述

👉640份大模型行业报告👈

💥包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。
在这里插入图片描述

👉获取方式：

这份完整版的大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓

爱吃鸡翅膀咯
关注
  • 22
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Llama3本地部署及API接口本地调试，15分钟搞定最新Meta AI开源大模型本地Windows电脑部署
程序员陆通
04-21 1万+
你知道国内大模型多少是基于Llama2改造的，你就知道Llama模型有多厉害了，那么现在Llama3刚出来，搞自媒体的赶紧蹭Llama3的流量，搞技术的程序员赶紧抓住研究一下，看能否技术变现一下，尤其搞技术的，再不动到时年龄大了被裁员了不要怨天怨地的！
本地部署开源大模型的完整教程LangChain + Streamlit+ Llama
09-23
本地部署开源大模型的完整教程LangChain + Streamlit+ Llama
私有化部署 Llama3 大模型, 支持 API 访问
会煮咖啡的猫咪
04-26 840
通过 ollama 本地运行 Llama3 大模型其实对我们开发来说很有意义，你可以私有化放服务上了。 然后通过 api 访问，来处理我们的业务，比如翻译多语言、总结文章、提取关键字等等。 你也可以安装 enchanted 客户端去直接访问这个服务 api 使用。
在 Windows 上使用 Ollama 配置本地及外网访问
weixin_49938804的博客
04-29 1万+
ollama Windows 安装配置，外网范围
开源模型应用落地-工具使用篇-Ollama（六）
热门推荐
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
03-05 2万+
Ollama集成QWen1.5系列模型，全网唯一，绝非搬运。
Llama3如何快速免费的使用体验及免费API接口调用
程序员陆通
04-20 2417
Llama3的新闻传得已经很多，吹得它有多牛逼。那么怎么来试用一下呢，听别人吹牛逼没有，自己得去体验一把,然后最好能靠它赚到钱才是正事,尤其可以直接调用API，把它集成到自己应用中，想办法变现。
大模型部署-使用OpenVINO本地化部署LLaMa3-附项目源码+流程教程-优质项目实战.zip
06-07
本项目将介绍如何使用OpenVINO进行大模型的本地化部署，特别是针对LLaMa3模型的实例。通过该项目，开发者可以学习到如何将复杂的模型部署到边缘设备，以便在本地运行高效且实时的推理任务。 LLaMa3是一种大规模的预...
大模型部署-在本地计算机上推理LLaMA大语言模型-支持Windows+Linux+Mac-优质项目实战.zip
03-26
本项目实战旨在教你如何在本地计算机上部署大型语言模型LLaMA（Large Language Models like MAth）进行推理工作，覆盖Windows、Linux和Mac操作系统。大模型部署是一项技术性极强的任务，涉及到高性能计算、资源管理...
大模型部署-使用OpenINO-C++-API部署生成式大模型-支持LLaMA2+StableDiffusion等-项目源码
04-24
本文将详细解析如何利用OpenVINO工具套件中的C++ API来部署生成式大模型，如LLaMA2和StableDiffusion，并通过提供的项目源码进行实践操作。 首先，OpenVINO（Open Visual Inference and Neural Network ...
一文彻底整明白，基于Ollama工具的LLM大语言模型Web可视化对话机器人部署指南
老牛啊
05-18 3570
在上一篇博文中，我们在本地部署了**Llama 3 8B**参数大模型，并用 Python 写了一个控制台对话客户端，基本能愉快的与 Llama 大模型对话聊天了。但控制台总归太技术化，体验不是很友好，我们希望能有个类似 ChatGPT 那样的 Web 聊天对话界面，本博文就安排起来……
【AI基础】大模型部署工具之ollama的安装部署以及api调用
旭日跑马踏云飞的专栏
06-17 1万+
ollama是大模型部署方案，对应docker，本质也是基于docker的容器化技术。ollama提供了openAI兼容的api，可以最大限度的减少理解和开发成本。
Ollama教程——生成内容API：利用Ollama的原生API进行AI应用开发
walkskyer的博客
04-22 7153
在深入探讨ollama的API接口之前，让我们先了解一下API接口的基本概念及其在软件开发中的作用。API，或称应用程序编程接口，是一套明确定义的通讯方法，允许不同软件应用之间交换数据和功能。它们是现代软件开发不可或缺的一部分，尤其是在构建模块化、可扩展和维护性强的系统时。在使用生成完成（Generate a Completion）API时，精确而具体的提示词将大大提高生成内容的相关性和质量。例如，在构建聊天机器人时，根据上下文和用户的具体问题设计提示词，能够使回答更加准确和自然。
ollama支持的模型简介
最新发布
完颜振江
07-09 819
好的，以下是各个模型的主要能力和用途的中文介绍：Llama 3Phi 3 MiniPhi 3 MediumGemma 2Gemma 2 27BMistralMoondream 2Neural ChatStarlingCode LlamaLlama 2 UncensoredLLaVASolar
AI菜鸟向前飞 — LLM简介
2401_82469710的博客
05-11 565
AI菜鸟向前飞 — LLM简介
Ollama——零基础运行私有大模型
python1234567_的博客
05-28 1726
Ollama 是一个在你自己的电脑上运行大型语言模型的工具，支持各大互联网企业发布的各种开源模型，如 Llama 3、Llama2、Phi 3、Mistral 和 Gemma等。用户可以在 macOS、Linux 和 Windows（预览版）操作系统上使用该工具，并且可以创建自己的模型。
OllamaAi设置外网访问
wuzhangxiong123的博客
05-03 3186
3、关掉已打开的命令行窗口，打开新命令行，用ollama serve或者ollama start来启动ollama服务，此时ollama服务在启动时将读取环境变量中的OLLAMA_HOST，支持IP端口访问。1、首先停止ollama服务的允许。2、修改ollama的service文件：/etc/systemd/system/ollama.service。1、首先停止ollama服务：systemctl stop ollama。4、启动ollama服务 systemctl start ollama。
ollama大模型容器详解，根据ollama进行web开发
2301_78960337的博客
02-24 3932
ollama,gemma:7b
ollama介绍
顺其自然~专栏
03-13 7125
例如，至少需要 8GB 的内存/显存来运行 7B 模型，至少需要 16GB 来运行 13B 模型，至少需要 32GB 来运行 34B 的模型。：Ollama 支持多种大型语言模型，如 Llama 2、Code Llama、Mistral、Gemma 等，并允许用户根据特定需求定制和创建自己的模型。：它将模型权重、配置和数据捆绑到一个包中，称为 Modelfile，这有助于优化设置和配置细节，包括 GPU 使用情况。：安装完成后，用户可以通过简单的命令行操作启动和运行大型语言模型。
本地运行大语言模型并可视化(Ollama+big-AGI方案)
weixin_40994552的博客
12-16 3038
其中 Ollama 目前只支持 Mac，LM Studio目前支持 Mac 和 Windows。该服务启动在 3000 端口：http://localhost:3000/ ，直接在浏览器中打开，界面窗口中 vendor 记得选择 ollama。命令行终端运行命令 ollama run llama2，该命令会下载 llama2 模型，随后运行这个模型，现在我们就可以在终端对话了。执行 npm install 可能报错： zsh: command not found: npm。查看是否安装成功：npm -v。
Llama3私有化部署
06-01
Llama3的私有化部署可以让用户在自己的数据中心或云环境中建立Llama3集群，从而获得更高的安全性、可控性和灵活性。以下是Llama3私有化部署的一些关键步骤： 1. 确定部署模式：Llama3可以在物理机、虚拟机或容器中...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值