DataWhale AI|夏令营:构建多模态手机智能体Mobile-Agent

一、Mobile-Agent初识

• Mobile-Agent是一种先进的自主多模态AI代理，它专为模拟人类在手机上的操作而设计。简单来说，Mobile-Agent能够像人类一样“看”懂手机屏幕上的内容，并据此执行各种任务，如点击图标、输入文本、滑动屏幕等。

• 它结合了视觉感知、自然语言处理和智能规划等多种技术，使得它能够理解用户的指令，并根据当前屏幕的状态和上下文环境，自主规划并执行相应的操作。这种能力使得Mobile-Agent在自动化测试、智能助手、无障碍访问等领域具有广泛的应用前景。

• 通过Mobile-Agent，用户可以更加便捷地完成手机上的各种操作，无需手动点击或输入，大大提高了使用效率。同时，Mobile-Agent还可以根据用户的习惯和需求，自动优化操作流程，提供更加个性化的服务。

• 总之，Mobile-Agent是一种具有高度智能化和自主性的AI代理，它正在逐步改变我们与手机交互的方式，让我们的生活变得更加便捷和高效。图一

二、Mobile-Agent Demo的使用

1、领取大模型API

链接：阿里云百炼

（1）登陆注册阿里云

进入注册界面

登录界面

（2）开通模型，创建API-KEY

 进入主界面，点击去开通（开通前要先在阿里云实名认证），同意服务协议

图二

图三

点击右上角的个人中心的API-KEY，创建自己的KEY后，点击查看后，复制API-KEY，记得保存。