【LLM】droidrun 基于视觉的安卓机器Agent

基础介绍

droidrun 是基于ReAct的视觉LLM Agent。

安装

环境依赖：

1. 开了usb调试的安卓机或者模拟器，我用了小米11ultra和雷电9；
2. Python 3.10以上；
3. Windows 11。

安装 droidrun 依赖

方法一：

pip install droidrun

方法二【我用的这个】：

git clone https://github.com/droidrun/droidrun.git
cd droidrun
## 我直接明文写入代码里面了 =-=！，写入api_key之后再安装
pip install -e .

目前项目分支支持 deepseek 了，代码在droidrun/agent/providers/deepseek_provider.py。

可选的，重新安装。

pip uninstall droidrun
cd droidrun
pip install -e .
pip install -e . --force-reinstall

安装ADB

下载ADB，并放入环境变量。输入adb version有返回说明没有问题。

安装 DroidRun Portal App

droidrun 获取视觉的app，下载地址。安装方式推荐使用 droidrun 安装，安装不成功会有报错开启对应权限。环境推荐使用模拟器，出现框框说明安装成功。

droidrun setup --path=./droidrun-portal-v0.1.0.apk

使用

 droidrun "打开微信，给xxx发你好" --provider deepseek --model deepseek-chat

实测能打开 app 但是操作很慢，最后没法发送成功。测试机没有 Put 的权限，虚拟机没法输入等等。

使用小结

缺点：

1. 基于视觉的Agent，大量消耗LLMtoken，还慢；
2. 还不算智能。