llama3 server
前言
通过 ollama 本地运行 Llama3 大模型其实对我们开发来说很有意义,你可以私有化放服务上了。
然后通过 api 访问,来处理我们的业务,比如翻译多语言、总结文章、提取关键字等等。
你也可以安装 enchanted 客户端去直接访问这个服务 api 使用。
Llama3
https://llama.meta.com/llama3/
llama3
https://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md
Model Architecture
安全性
https://llama.meta.com/trust-and-safety/
Responsible LLM Product Development Stages graphic
https://www.meta.ai/
meta ai chat
步骤
安装 ollama
https://ollama.com/
ollama
安装 Llama3 8b 模型
https://ollama.com/library
https://ollama.com/library/llama3
模型选择
llama3
安装命令
$ ollama run llama3
访问 api 服务
https://github.com/ollama/ollama/blob/main/docs/api.md
curl http://localhost:11434/api/generate -d '{
"model":"llama3",
"prompt": "请分别翻译成中文、韩文、日文 -> Meta Llama 3: The most capable openly available LLM to date",
"stream": false
}'
参数解释如下:
- model(必需):模型名称。
- prompt:用于生成响应的提示文本。
- images(可选):包含多媒体模型(如llava)的图像的base64编码列表。
高级参数(可选):
- format:返回响应的格式。目前仅支持json格式。
- options:模型文件文档中列出的其他模型参数,如温度(temperature)。
- system:系统消息,用于覆盖模型文件中定义的系统消息。
- template:要使用的提示模板,覆盖模型文件中定义的模板。
- context:从先前的/generate请求返回的上下文参数,可以用于保持简短的对话记忆。
- stream:如果为false,则响应将作为单个响应对象返回,而不是一系列对象流。
- raw:如果为true,则不会对提示文本应用任何格式。如果在请求API时指定了完整的模板化提示文本,则可以使用raw参数。
- keep_alive:控制模型在请求后保持加载到内存中的时间(默认为5分钟)。
返回 json 数据
{
"model": "llama3",
"created_at": "2024-04-23T08:05:11.020314Z",
"response": "Here are the translations:\n\n**Chinese:** 《Meta Llama 3》:迄今最强大的公开可用的LLM\n\n**Korean:** 《Meta Llama 3》:현재 가장 강력한 공개 사용 가능한 LLM\n\n**Japanese:**\n\n《Meta Llama 3》:現在最強の公開使用可能なLLM\n\n\n\nNote: (Meta Llama 3) is a literal translation, as there is no direct equivalent for \"Meta\" in Japanese. In Japan, it's common to use the English term \"\" or \"\" when referring to Meta.",
"done": true,
"context": [
...
],
"total_duration": 30786629492,
"load_duration": 3000782,
"prompt_eval_count": 32,
"prompt_eval_duration": 6142245000,
"eval_count": 122, "eval_duration": 24639975000
}
返回值的解释如下:
- total_duration:生成响应所花费的总时间。
- load_duration:以纳秒为单位加载模型所花费的时间。
- prompt_eval_count:提示文本中的标记(tokens)数量。
- prompt_eval_duration:以纳秒为单位评估提示文本所花费的时间。
- eval_count:生成响应中的标记数量。
- eval_duration:以纳秒为单位生成响应所花费的时间。
- context:用于此响应中的对话编码,可以在下一个请求中发送,以保持对话记忆。
- response:如果响应是以流的形式返回的,则为空;如果不是以流的形式返回,则包含完整的响应。
要计算生成响应的速度,以标记数每秒(tokens per second,token/s)为单位,可以将 eval_count / eval_duration 进行计算。
ollama 生态
https://github.com/ollama/ollama
- 客户端 桌面、Web
- 命令行工具
- 数据库工具
- 包管理工具
- 类库
桌面 enchanted 客户端
https://github.com/AugustDev/enchanted
enchanted
设置服务器地址
ollama server url
提问使用
enchanted
代码
https://github.com/ollama/ollama
小结
感谢阅读本文
如果有什么建议,请在评论中让我知道。我很乐意改进。
如何学习大模型
现在社会上大模型越来越普及了,已经有很多人都想往这里面扎,但是却找不到适合的方法去学习。
作为一名资深码农,初入大模型时也吃了很多亏,踩了无数坑。现在我想把我的经验和知识分享给你们,帮助你们学习AI大模型,能够解决你们学习中的困难。
我已将重要的AI大模型资料包括市面上AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习,等录播视频免费分享出来,需要的小伙伴可以扫取。
一、AGI大模型系统学习路线
很多人学习大模型的时候没有方向,东学一点西学一点,像只无头苍蝇乱撞,我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。
二、AI大模型视频教程
三、AI大模型各大学习书籍
四、AI大模型各大场景实战案例
五、结束语
学习AI大模型是当前科技发展的趋势,它不仅能够为我们提供更多的机会和挑战,还能够让我们更好地理解和应用人工智能技术。通过学习AI大模型,我们可以深入了解深度学习、神经网络等核心概念,并将其应用于自然语言处理、计算机视觉、语音识别等领域。同时,掌握AI大模型还能够为我们的职业发展增添竞争力,成为未来技术领域的领导者。
再者,学习AI大模型也能为我们自己创造更多的价值,提供更多的岗位以及副业创收,让自己的生活更上一层楼。
因此,学习AI大模型是一项有前景且值得投入的时间和精力的重要选择。