私有化部署 Llama3 大模型, 支持 API 访问
llama3 server
视频
https://www.bilibili.com/video/BV1wD421n75p/
前言
原文 https://ducafecat.com/blog/llama3-model-api-local
通过 ollama 本地运行 Llama3 大模型其实对我们开发来说很有意义,你可以私有化放服务上了。
然后通过 api 访问,来处理我们的业务,比如翻译多语言、总结文章、提取关键字等等。
你也可以安装 enchanted 客户端去直接访问这个服务 api 使用。
参考
https://llama.meta.com/llama3/
https://ollama.com/
https://github.com/ollama/ollama
https://github.com/ollama/ollama/blob/main/docs/api.md
https://github.com/sugarforever/chat-ollama
https://github.com/AugustDev/enchanted
Llama3
https://llama.meta.com/llama3/
llama3
https://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md
Model Architecture
安全性
https://llama.meta.com/trust-and-safety/
Responsible LLM Product Development Stages graphic
https://www.meta.ai/
meta ai chat
步骤
安装 ollama
https://ollama.com/
ollama
安装 Llama3 8b 模型
https://ollama.com/library
https://ollama.com/library/llama3
模型选择
llama3
安装命令
$ ollama run llama3
访问 api 服务
https://github.com/ollama/ollama/blob/main/docs/api.md
curl http://localhost:11434/api/generate -d '{ "model":"llama3", "prompt": "请分别翻译成中文、韩文、日文 -> Meta Llama 3: The most capable openly available LLM to date", "stream": false }'
参数解释如下:
-
model(必需):模型名称。
-
prompt:用于生成响应的提示文本。
-
images(可选):包含多媒体模型(如llava)的图像的base64编码列表。
高级参数(可选):
-
format:返回响应的格式。目前仅支持json格式。
-
options:模型文件文档中列出的其他模型参数,如温度(temperature)。
-
system:系统消息,用于覆盖模型文件中定义的系统消息。
-
template:要使用的提示模板,覆盖模型文件中定义的模板。
-
context:从先前的/generate请求返回的上下文参数,可以用于保持简短的对话记忆。
-
stream:如果为false,则响应将作为单个响应对象返回,而不是一系列对象流。
-
raw:如果为true,则不会对提示文本应用任何格式。如果在请求API时指定了完整的模板化提示文本,则可以使用raw参数。
-
keep_alive:控制模型在请求后保持加载到内存中的时间(默认为5分钟)。
返回 json 数据
{ "model": "llama3", "created_at": "2024-04-23T08:05:11.020314Z", "response": "Here are the translations:\n\n**Chinese:** 《Meta Llama 3》:迄今最强大的公开可用的LLM\n\n**Korean:** 《Meta Llama 3》:현재 가장 강력한 공개 사용 가능한 LLM\n\n**Japanese:**\n\n《Meta Llama 3》:現在最強の公開使用可能なLLM\n\n\n\nNote: (Meta Llama 3) is a literal translation, as there is no direct equivalent for \"Meta\" in Japanese. In Japan, it's common to use the English term \"\" or \"\" when referring to Meta.", "done": true, "context": [ ... ], "total_duration": 30786629492, "load_duration": 3000782, "prompt_eval_count": 32, "prompt_eval_duration": 6142245000, "eval_count": 122, "eval_duration": 24639975000 }
返回值的解释如下:
-
total_duration:生成响应所花费的总时间。
-
load_duration:以纳秒为单位加载模型所花费的时间。
-
prompt_eval_count:提示文本中的标记(tokens)数量。
-
prompt_eval_duration:以纳秒为单位评估提示文本所花费的时间。
-
eval_count:生成响应中的标记数量。
-
eval_duration:以纳秒为单位生成响应所花费的时间。
-
context:用于此响应中的对话编码,可以在下一个请求中发送,以保持对话记忆。
-
response:如果响应是以流的形式返回的,则为空;如果不是以流的形式返回,则包含完整的响应。
要计算生成响应的速度,以标记数每秒(tokens per second,token/s)为单位,可以将 eval_count / eval_duration 进行计算。
ollama 生态
https://github.com/ollama/ollama
-
客户端 桌面、Web
-
命令行工具
-
数据库工具
-
包管理工具
-
类库
桌面 enchanted 客户端
https://github.com/AugustDev/enchanted
enchanted
设置服务器地址
ollama server url
提问使用
enchanted
代码
https://github.com/ollama/ollama
读者福利:如果大家对大模型感兴趣,这套大模型学习资料一定对你有用
对于0基础小白入门:
如果你是零基础小白,想快速入门大模型是可以考虑的。
一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。
包括:大模型学习线路汇总、学习阶段,大模型实战案例,大模型学习视频,人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型!
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费
】🆓
👉AI大模型学习路线汇总👈
大模型学习路线图,整体分为7个大的阶段:(全套教程文末领取哈)
第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;
第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;
第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;
第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;
第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;
第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;
第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。
👉大模型实战案例👈
光学理论是没用的,要学会跟着一起做,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
👉大模型视频和PDF合集👈
观看零基础学习书籍和视频,看书籍和视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;
• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;
• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;
• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。
👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费
】🆓