使用 Groq 和 Llama3 快速构建 AI 代理

最新推荐文章于 2024-10-17 22:12:53 发布

大靠山

最新推荐文章于 2024-10-17 22:12:53 发布

阅读量1.1k

点赞数 11

文章标签：人工智能 AI绘画职场和发展 langchain AI大模型

本文链接：https://blog.csdn.net/m0_59235245/article/details/139333359

版权

前言

在这篇文章里，我要向你展示如何将Groq这家超快速的大语言模型（LLM）硬件制造商与目前市场上可能表现最佳的LLM，Llama3，结合起来完成一些实际有用的任务。

我们打算开发做一个基于 llama3 的代理原型，代理一位专业的经济学家，并输出为 Markdown 格式。它将充分展示Groq的处理速度和Llama 3在中文理解方面的能力。

===

关于Groq

如果你以前没有听说过Groq，可以官方文档详细了解。简单来说，他们是一家专注于AI和LLM解决方案的公司。他们最出名的是他们的快速处理单元（Groq把它们称为LPUs），这些单元能够加快LLM处理数据的速度。

关于Llama 3

Llama 3是Meta推出的最新开源大语言模型，被认为可能是目前市面上最优秀的LLM，无论是开源还是非开源。我在一篇文章中测试了这个模型在逻辑、推理和数学能力方面的表现，它的性能给我留下了深刻的印象。

设置新的Python开发环境

我的 Python 代码将在 Jupyter Notebook 中运行。

conda create -n gradio_llama3 python=3.11 -y``conda activate gradio_llama3``conda install jupyter -y``

安装 Python 库

! pip install groq Markdown

获取 Groq API 密钥

您还需要一个 Groq API 密钥，您可以通过访问找到该密钥

Groq API 密钥：https://console.groq.com/keys

===

Python 代码

要点

以 API 的方式接入 LlaMa-3-70b-Instruct
Groq 加成，闪电生成
Syetem Prompt，提升中文回复的稳定性 & 其他增益
实现一个基于字符的简单计速——time 模块
在Notebook IDE 中直接渲染 Markdown——display(Markdown())

import os``from groq import Groq``from IPython.display import display, Markdown``import time``   ``groq_api_key = os.environ["GROQ_API_KEY"]``   ``client = Groq(api_key=groq_api_key)``start_time = time. time() # 开始计时``chat_completion = client.chat.completions.create(`    `messages=[`        `{`            `"role": "system",`            `"content":"""`            `- Think step by step.`            `- Be precise, no preamble, get to the point.`            `- Always response in Simplified Chinese, unless user is in Eng Lish.`            `"""`        `},{`            `"role": "user",`            `"content":"你是一位专业的经济学家，请用小白能理解的表达来详细解析沉没成本，输出为 Markdown 格式，大标题前方请附上 1 个合适的 Emoji",`        `}`        `],`    `model="llama3-70b-8192",`    `temperature=0.8, max_tokens=4096,top_p=0.9,``)``   ``end_time = time.time() # 结束计时``elapsed_time = end_time - start_time # 计算生成时间``generated_chars = len(chat_completion.choices[0].message.content) # 获取生成的字符数``speed = generated_chars / elapsed_time # 计算生成速度``   ``display(Markdown(f"生成速度:{speed:.0f}字符/秒"))``display(Markdown(chat_completion.choices[0].message.content))

输出结果如下

💸沉没成本（Sunk Cost）解析``什么是沉没成本？``沉没成本（Sunk Cost）是指已经发生的、不可回收的支出或投资。这些成本已经发生，不管未来如何决定，都不能改变或撤销。``   ``为什么沉没成本重要？``沉没成本很重要，因为它们可能会影响我们的决策。我们常常会因为已经投入的成本而继续投资或维持某个项目，即使这个项目不再有价值。这是因为我们不想“浪费”已经投入的成本。``   ``例子``你买了一张电影票，但是在电影开始前你不想去了。你仍然可以选择不去看电影，但你已经花了钱，这笔钱不能退款。``你投资了一家公司，但这家公司现在正在亏损。你可以选择继续投资或撤销投资，但你已经投入的钱不能回收。``沉没成本的陷阱``沉没成本可能会导致以下几个问题：``   ``继续投资不良项目：因为已经投入的成本，我们可能会继续投资一个不良项目，希望能够收回成本。``错失其他机会：因为沉没成本，我们可能会错失其他更好的投资机会。``情感决策：沉没成本可能会使我们基于情感做出决策，而不是基于理智。``如何避免沉没成本的陷阱？``理智决策：在决策时，忽略已经投入的成本，基于当前的情况和未来的预期做出决策。``重新评估：重新评估当前的投资或项目，看看它们是否仍然有价值。``割舍亏损：如果一个项目不再有价值，及时割舍亏损，不要继续投入。

总结

我们向您展示了如何快速创建概念验证。利用 Llama3、Groq 和 Python 等大语言模型及平台的潜力，如何轻松地利用这些尖端工具来开发实用程序。这些程序可以（以较小的方式）模拟流行的服务，例如专业领域的专家，全球数百万人使用的 Google 翻译。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述