逐步掌握最佳Ai Agents框架-AutoGen 八 开源模型

最新推荐文章于 2024-07-12 15:56:08 发布
最新推荐文章于 2024-07-12 15:56:08 发布
阅读量1.1k 收藏 8
点赞数 19
文章标签： 人工智能 产品经理 langchain chatgpt
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_85324918/article/details/139437335
版权

前言

本篇文章，我们来探索下AutoGen使用其它LLM大模型。主要原因是AutoGen在使用chatgpt3.5/chatgpt 4等付费模型时，token开销比较大。如果我们的业务，社区里的开源模型就能搞定，那当然就开冲了。

接下来就让我们看下，来自Facebook的Llama2 7B。这个模型都有70亿+参数，表现优越。我们让AutoGen的模型替换成这两个模型，来看下运行效果。

LLM Studio

在之前的文章中，我们介绍了多款AI生态受欢迎的工具和服务。比如，Flowise AI这一无代码AI拖拽工具;PlayHT文本转语音工具。今天，我们来玩下LLM Studio, 可以帮助我们快速下载各种开源大模型并运行，并以http server的方式提供LLM服务。 它是一个一站式的解决方案，可以提供OpenA兼容的接口，这样能让我们将之前基于OpenAi的应用，快速切换到开源大模型，降低开发成本。

根据官网的介绍，LMStdio主打以下功能

  • 在本地运行各种大语言模型（Hugging Face大把开源模型）   可以非常方便的让我们在开发阶段，调试不同的模型，看在项目中的效果，最终选择用户体验更好的大模型。
  • LMStdio 集成了Chat Bot 功能，可以方便的加载不同的模型，聊天   同时，它还支持OpenAI兼容的API格式，暴露接口。
  • 可以方便的从Hugging Face下载一些模型和文件，LMStdio也会经常给我们推一些热点或有趣的模型。

完成AutoGen系列后， 我会启一个AI工具或服务系列，欢迎大家评论留言，你喜欢的AI工具或服务，打个tag， 交流起来。

image.png

  • 下载 LLM Studio

到LM Studio - Discover, download, and run local LLMs，下载LLM Studio。

  • 在模型search 功能页搜索llama,facebook 开源的大模型， 并从结果中找到我们需要的进行下载

image.png
😝有需要的小伙伴，可以V扫描下方二维码免费领取🆓

  按上图， 会将模型下载到本地。
  • 测试聊天功能

1700796140359.jpg

我们在最上面，选择刚刚下下载的llama 2 chat 模型后，LLM Studio会加载并运行该模型。之后，我们就可以像使用chatgpt 一样，跟 llama 2模型聊天了。在左上角还会有内存和CPU的使用情况。从上图可知，CPU飙的快到脖颈子了。

  • api server

image.png

chat 之后的这个tab, 是 api server 页， 它会基于我们的大模型， 启动一个本地的http server， 让我们以localhost api的方式调用大模型能力。   点击Start Server 可以从日志中看到相关信息，它是以OpenAI的方式，提供这些接口。

image.png

  • 测试llama 2 的api server

image.png

我们使用postman发送了请求，成功拿到了本地模型执行后的响应。速度有点慢，是我们自己电脑或服务器的性能问题了。

对比llm_config

python复制代码config_list = [ { 'model': 'gpt-3.5-turbo', 'api_key': '' }] 
llm_config={ "seed": 42, #为缓存做的配置 "config_list": config_list }

这是之前文章用到的OpenAI 配置。

python复制代码config_list = [
    {
        "api_base": "http://localhost:1234/v1",
        "api_key": "xyz"
    }
]

这是我们今天使用LLama 2开源模型后的配置。我们将model 换成 api_base, 调用本地http 服务。

构建 Agent

AutoGen最核心的概念是两类Agent, UserProxyAgent和AssistantAgent。

python复制代码from autogen import AssistantAgent, UserProxyAgent

assistant = AssistantAgent(name="assistant", 
llm_config=llm_config,
)
user_proxy = AssistantAgent(name="user_proxy")

发起聊天

user_proxy负责发起聊天。

python复制代码user_proxy.initiate_chat(
    assistant,
    message: """
Write a python function to calculate the square root of a number, and call it with the number 4.
"""
)

返回结果

python复制代码user_proxy (to assistant):

Write a python function to calculate the square root of a number, and call it with the number 4.

--------------------------------------------------------------------------------
assistant (to user_proxy):


def sqrt(n):
    return n ** 0.5

print(sqrt(4))

TERMINATE
其它的我就不粘了， 大家自己玩。

总结

在这篇文章中， 我们使用AI生态中的LLMStudio 解锁了切换大模型的能力。OpenAI虽好， 但是费用是真贵。好多小伙伴们反馈，AI应用是开发上线了，用户没多少，token账单几万几万的…

参考资料

如何系统的去学习大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以V扫描下方二维码免费领取🆓

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

img

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

在这里插入图片描述

四、AI大模型商业化落地方案

img

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。
  • 内容：
    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
  • 内容：
    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.2.1 什么是Prompt
    • L2.2.2 Prompt框架应用现状
    • L2.2.3 基于GPTAS的Prompt框架
    • L2.2.4 Prompt框架与Thought
    • L2.2.5 Prompt框架与提示词
    • L2.3 流水线工程
    • L2.3.1 流水线工程的概念
    • L2.3.2 流水线工程的优点
    • L2.3.3 流水线工程的应用
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
  • 内容：
    • L3.1 Agent模型框架
    • L3.1.1 Agent模型框架的设计理念
    • L3.1.2 Agent模型框架的核心组件
    • L3.1.3 Agent模型框架的实现细节
    • L3.2 MetaGPT
    • L3.2.1 MetaGPT的基本概念
    • L3.2.2 MetaGPT的工作原理
    • L3.2.3 MetaGPT的应用场景
    • L3.3 ChatGLM
    • L3.3.1 ChatGLM的特点
    • L3.3.2 ChatGLM的开发环境
    • L3.3.3 ChatGLM的使用示例
    • L3.4 LLAMA
    • L3.4.1 LLAMA的特点
    • L3.4.2 LLAMA的开发环境
    • L3.4.3 LLAMA的使用示例
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
  • 内容：
    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

学习计划：

  • 阶段1：1-2个月，建立AI大模型的基础知识体系。
  • 阶段2：2-3个月，专注于API应用开发能力的提升。
  • 阶段3：3-4个月，深入实践AI大模型的应用架构和私有化部署。
  • 阶段4：4-5个月，专注于高级模型的应用和部署。
这份完整版的大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓

AI领航者
关注
  • 19
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
开源AI Agent框架的选择
汽车软件开发
04-18 1459
在选择开源AI Agent框架时，首先需要考虑的是框架的开发优先级、功能特性以及社区支持情况。SuperAGI是一个开发者优先的开源自主AI代理框架，它使开发人员能够快速可靠地构建、管理和运行有用的代理12。这表明SuperAGI可能是一个适合需要快速迭代和高度自定义能力的项目的良好选择。此外，从多个来源中可以看出，除了SuperAGI外，还有其他多个备受关注的开源AI Agent框架，如AutoGPT、AutoGen、Langfuse等3511。
BDL Agents Simulator-开源
05-27
总之，"BDL Agents Simulator-开源"是一个富有创新性的项目，它结合了游戏与人工智能，提供了一个研究和实践智能代理行为的开放环境。通过参与这个项目，不仅可以提升编程技能，还能深入了解智能体的决策过程和适应...
【AI Agent系列】【MetaGPT多智能体学习】1. 再理解 AI Agent - 经典案例和热门框架综述
同学小张的博客
02-27 1205
重温 AI Agent，介绍一个Agent实例，并对市面上像AutoGPT和MetaGPT类似的智能体框架进行比较。
AI Agent - 7 大认知框架全解析与代码实现
AI科技大本营
05-16 607
出品丨咖哥 AI作者｜黄佳AI Agent，最近火得一塌糊涂。Sam Altman 曾这样描述未来的AI Agent：“今天的AI模型是它们将会是的最‘笨’状态，未来只会越来越聪明！” 吴恩达在AI Ascent 2024会议上也不吝赞美：“这是AI发展的黄金时代，生成式AI和AI Agent将彻底改变我们工作的方式！”。这些业界领袖的话让人感受到未来AI与人类生活、工作的深度融合正在加速到来...
逐步掌握最佳Ai Agents框架-AutoGen 七 低代码AI助理
2401_85324918的博客
06-04 1069
在上两篇文章中，我们围绕Uniswap专家知识库打造AI助理。今天我们将以零代码的方式来实现，这要归功于Flowise。我们将使用Flowise构建的工作流，来实现一个同样的AI助理应用。本文继上篇之后，使用Flowise 低代码的方式，同样实现了基于Uniswap的专家知识库AI助理项目。agents with function calls 这一autogen的语法，是autogen与其它AI工具或服务连接的利器，这一想法再次加固。
大模型应用开发框架:autoGen初体验与原理
qq_22351805的博客
02-28 3165
在体验和学习autogen的原理前，先来看看官网的两段话：总的来说，autoGen是为了复杂的工作流而生的LLM应用开发框架，通过可定制可对话的agent与LLM交互，简化LLM工作流的编排、优化和自动化。本文将从autogen简单使用，functioncall，代码生成与执行、Groupchat等几个方面对autogen原理做简要分析。
Micro-agents-开源
04-26
一个有效的基于Java的Multi-agent平台，实现了微代理概念µ²，可提供网络支持和多种代理实现语言。 可以在http://www.micro-agents.net下找到详细的说明和文档。 该项目已移至Github。
Free Agents DIDS-开源
05-02
**Free Agents DIDS 开源入侵检测系统详解** Free Agents DIDS 是一款强大的开源分布式入侵检测系统，专为保障网络安全而设计。它允许用户在互联网上的各个节点部署该系统，以实现全面的网络监控和防护。DIDS...
Java Queue and Agents Framework-开源
07-04
Java Queue and Agents Framework 是一个开源项目，专注于在Java环境中实现多线程和分布式处理的解决方案。这个框架提供了一个工具集，允许开发者通过Remote Method Invocation (RMI) 技术将任务队列化，并分发到...
Agents-Flex 一个基于 Java 的 LLM（大语言模型）应用开发框架
06-06
Agents-Flex 一个基于 Java 的 LLM（大语言模型）应用开发框架。基本能力：LLM 的访问能力Prompt、Prompt Template 定义加载的能力Function Calling 定义、调用和执行等能力记忆的能力（Memory）EmbeddingVector ...
人工智能在自动驾驶中的目标检测研究
zhumin726的专栏
07-10 655
视觉识别技术在自动驾驶中的目标检测扮演着不可或缺的角色。通过不断优化目标检测算法，结合最新的深度学习技术，自动驾驶车辆将能够更加准确、安全地感知周围环境，实现真正的无人驾驶。视觉识别技术使得车辆能够像人类一样“看”到周围环境，通过图像处理和深度学习算法，实现对周围目标的检测和识别。我们将详细讨论目标检测的基本原理、常用算法、最新进展、已有的开源项目及其在自动驾驶中的应用和挑战。通过这些详细的讨论和分析，我们可以更好地理解人工智能在自动驾驶中如何通过视觉识别进行目标检测，并进一步推动这一技术的研究和应用。
AGI 之 【Hugging Face】 的【问答系统】的 [构建问答系统] / [ 构建基于评论的问答系统 ] 的简单整理
仙魁XAN
07-12 763
AGI，即通用人工智能（Artificial General Intelligence），是一种具备人类智能水平的人工智能系统。它不仅能够执行特定的任务，而且能够理解、学习和应用知识于广泛的问题解决中，具有较高的自主性和适应性。AGI的能力包括但不限于自我学习、自我改进、自我调整，并能在没有人为干预的情况下解决各种复杂问题。AGI能做的事情非常广泛：跨领域任务执行：AGI能够处理多领域的任务，不受限于特定应用场景。自主学习与适应：AGI能够从经验中学习，并适应新环境和新情境。
YOLOv10改进 | 特殊场景检测篇 | 轻量级的低照度图像增强网络IAT改进YOLOv10暗光检测（全网独家首发）
热门推荐
Snu77的博客
07-11 1万+
本文给大家带来的改进机制是轻量级的变换器模型：Illumination Adaptive Transformer (IAT)，用于图像增强和曝光校正。其基本原理是通过分解图像信号处理器（ISP）管道到局部和全局图像组件，从而恢复在低光或过/欠曝光条件下的正常光照sRGB图像。具体来说，IAT使用注意力查询来表示和调整ISP相关参数，例如颜色校正、伽马校正。模型具有约90k参数和约0.004s的处理速度，能够在低光增强和曝光校正的基准数据集上持续实现优于最新技术（State-of-The-Art, SOTA）
聊聊如何在内网下构建大模型微调环境
python1234567_的博客
07-12 694
LlamaFactory新版更新后，还是比较方便，只是说llamafactory-cli命令的确是有点蒙，踩个坑就好了。对于LlamaFactory微调来说，本身不难，毕竟都是配置；主要是在内网环境下的依赖包拉取安装是真麻烦，但其实也还好。走一遍的话，还是可以学到很多的。​。
线性代数|机器学习-P22逐步最小化一个函数
scar2016的博客
07-10 925
主要讲的是无约束情况下的最小值问题。矩阵求导泰勒公式，函数到向量的转换梯度下降牛顿法梯度下降。
人力资源人工智能依赖于良好的数据
最新发布
yongyoudayee的博客
07-12 577
人力资源不断发展(HR)人工智能在技术领域(AI)它已经成为改变游戏规则的力量。人工智能驱动的工具有望简化人力资源流程，提高管理能力，彻底改变员工体验。然而，这些人工智能解决方案的有效性仅取决于算法的复杂性或计算硬件的能力。事实上，这种模式的很大一部分取决于一个基本的——良好的数据。
阿里发布大模型发布图结构长文本处理智能体，超越GPT-4-128k
夕小瑶科技说
07-09 861
随着大语言模型的发展，处理长文本的能力成为了一个重要挑战。虽然有许多方法试图解决这个问题，但都存在不同程度的局限性。最近，阿里巴巴的研究团队提出了一个名为GraphReader的新方法，通过将长文本组织成图结构，并利用智能体来探索这个图，成功提升了模型处理长文本的能力。GraphReader的核心思想是将长文本分解成关键元素和原子事实，构建成一个图，然后让智能体在这个图中探索和推理。这种方法不仅能有效处理超长文本，还在多跳问答等复杂任务上取得了优异表现。
AI技术的转变：从辨别式到生成式
学IT，找陈寒
07-09 3348
李彦宏在2024世界人工智能大会上的发言，提醒我们在AI技术发展的道路上，不要盲目追求技术本身或表面的用户数据，而应更多地关注技术的实际应用和产业价值。在大模型技术与个性化应用之间找到平衡，将是未来发展的关键。作为AI从业者和技术爱好者，我们应以务实的态度，探索AI技术在各个领域的实际应用，为产业发展和社会进步贡献力量。通过李彦宏的发言，我深刻认识到AI技术发展的方向和挑战，也更加坚定了自己在这一领域继续探索和创新的信心。未来，愿我们共同努力，推动AI技术更好地服务于社会和产业，为人类创造更美好的未来。
mlagents-learn 不是内部或外部命令,也不是可运行的程序
09-16
mlagents-learn 不是内部或外部命令，也不是可运行的程序是因为你没有正确配置 ml-agents 环境。你需要按照以下步骤来解决这个问题： 1. 首先，确认你已经按照引用中提供的命令创建了名为 ml-agents 的虚拟环境，并激活了该环境。 2. 确保你已经正确安装了 pytorch 和其他相关的 python 包。你可以使用以下命令来安装： ``` conda install pytorch conda install -c anaconda numpy pip install mlagents ``` 3. 如果你已经安装了 ml-agents，但仍然遇到该问题，可以尝试重新安装 ml-agents。使用以下命令来卸载和重新安装 ml-agents： ``` pip uninstall mlagents pip install mlagents ``` 请注意，确保你在运行 mlagents-learn 命令之前已经激活了 ml-agents 环境。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值