原文链接:(更好排版、视频播放、社群交流、最新AI开源项目、AI工具分享都在这个公众号!)
世界模型:我用AI智能体帮我填写简历表格并申请求职!(开源)
原创 Aitrainee [ AI进修生 ](javascript:void(0)😉
AI进修生
微信号 AitraineeGPT
功能介绍 AI算法工程师 / Prompt工程师 / ROS机器人开发者 | 分享AI动态与算法应用资讯,提升技术效率。
Aitrainee | 公众号:AI进修生
🔥LaVague一个用于开发 AI Web Agents 的大型操作模型框架。在 本文中,我们将探讨创新自动化工具 Lavague 如何使用
LLM(大型语言模型)和计算机视觉等尖端技术转变基于浏览器的工作流程。
Hello,大家好啊,我是Aitrainee,今天想分享一个新开源的大型动作模型框架:LaVague。这是一个开源的大型 ** 操作模型 **
框架,用于开发 AI Web Agents。
话不多说,我们看演示:创建一个可以接受简历、执行 OCR 并通过填写候选人表格自动申请工作的AI代理。
官方对这个也是做了详细的介绍:
我们再来说说 LaVague, Web Agents 接受一个目标,比如“打印 Hugging Face 的 Diffusers
库的安装步骤”,并执行所需的操作以实现这一目标,利用我们的两个核心组件:
世界模型 ,它接受一个目标和当前状态(即当前网页),并将其转化为指令
操作引擎 ,它将这些指令“编译”成操作代码, 如 Selenium或Playwright 并执行它们。
演示
以下是 LaVague 如何采取多个步骤来实现“快速浏览 PEFT”的目标的示例:
填写表格
教程视频
实践操作
您可以通过以下步骤实现:
- 1. 下载 LaVague:
pip install lavague
- 1. 使用我们的框架构建 Web Agent 并实现目标:
from lavague.core import WorldModel, ActionEngine, PythonEngine
from lavague.core.agents import WebAgent
from lavague.drivers.selenium import SeleniumDriver
selenium_driver = SeleniumDriver(headless=False)
world_model = WorldModel()
action_engine = ActionEngine(selenium_driver)
python_engine = PythonEngine()
agent = WebAgent(world_model, action_engine, python_engine)
agent.get("https://huggingface.co/docs")
agent.run("Go on the quicktour of PEFT")
有关此示例和如何使用 LaVague 的更多信息,请参见我们的 快速浏览 。
注意,这些示例使用我们的默认 OpenAI API 配置,您需要在本地环境中设置 OPENAI_API_KEY 变量,并提供有效的 API
密钥才能使其工作。
要在 Google Colab 中查看 LaVague 的端到端示例,请参见我们的 快速浏览笔记本 。
🚨 安全警告
注意,该项目使用 exec
执行 LLM 生成的代码。这不被认为是安全的做法。因此,我们建议在使用 LaVague 时格外小心,并在沙盒环境中运行
LaVague!
📈 数据收集
我们希望构建一个数据集,供 AI 社区使用,以构建更好的大型操作模型,从而实现更好的 Web Agents。您可以在我们的 BigAction
HuggingFace 页面 上看到我们迄今为止在构建社区数据集方面的工作。
因此,LaVague 默认收集以下用户数据遥测信息:
-
• 安装的 LaVague 版本
-
• 每个 Web 操作步骤生成的代码
-
• 使用的 LLM(如 GPT4)
-
• 使用的多模态 LLM(如 GPT4)
-
• 随机生成的匿名用户 ID
-
• 是否使用 CLI 命令或直接使用我们的库
-
• 使用/生成的指令
-
• 使用的目标(如果您在使用代理)
-
• 思考链条(如果您在使用代理)
-
• 页面上的交互区域(边界框)
-
• 您的浏览器视口大小
-
• 您执行操作的 URL
-
• 操作是否失败
-
• 错误消息(如果有)
-
• 源节点(从网页检索到的 HTML 代码块以执行此操作)
🚫 关闭所有遥测
如果您想关闭所有遥测,可以将 TELEMETRY_VAR 环境变量设置为“NONE”。
如果您在 Linux 环境中本地运行 LaVague,可以通过以下步骤持久化设置此变量:
-
1. 将 TELEMETRY_VAR=“NONE” 添加到您的 /.bashrc、 /.bash_profile 或 ~/.profile 文件中(具体文件取决于您的 shell 及其配置)
-
2. 使用
source ~/.bashrc
(或.bash_profile
或.profile
)应用您的修改,无需注销并重新登录
在笔记本单元中,您可以使用:
import os
os.environ['TELEMETRY_VAR'] = "NONE"
参考链接:
[1]https://docs.lavague.ai/en/latest/docs/contributing/contributing/
知音难求,自我修炼亦艰
抓住前沿技术的机遇,与我们一起成为创新的超级个体
(把握AIGC时代的个人力量)
**
**
** 点这里 👇 关注我,记得标星哦~ **
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见 ~
预览时标签不可点
微信扫一扫
关注该公众号
轻触阅读原文
AI进修生
收藏