【LLM】大模型能力的相关等级分类

OpenAI 提出的等级标准：

第一级：聊天机器人，具有会话语言的人工智能

第二级：推理者，解决人类水平问题的人工智能

第三级：代理，能够代表用户采取行动的人工智能

第四级：创新者，能够帮助发明的人工智能

第五级：组织者，能够完成组织工作的人工智能

Agent相关的等级分类：

清华发的Personal LLM Agents: Insights and Survey about the Capability, Efficiency and Security
链接：https://arxiv.org/abs/2401.05459

对应的中文翻译：

级别	主要特征	代表性用例
L1 - 简单步骤跟随	代理通过遵循用户或开发者预定义的确切步骤完成任务。	- 用户：“打开Messenger”；代理打开名为Messenger的应用程序。 - 用户：“打开我邮箱中第一封未读邮件并阅读其内容”；代理逐步执行命令。 - 用户：“打电话给Alice”；代理匹配开发者定义的模板，在通讯录中找到Alice的电话号码，并拨打号码。
L2 - 确定性任务自动化	基于用户对确定性任务的描述，代理在预定义的动作空间中自动完成必要步骤。	- 用户：“今天查看北京的天气”；代理自动调用带有“北京”参数的天气API并解析响应中的信息。 - 用户：“给Alice打视频电话”；代理自动打开通讯录，找到Alice的联系方式，并点击“视频聊天”。 - 用户：“告诉扫地机器人今晚打扫房间”；代理打开扫地机器人应用程序，点击“计划”，并将时间设置为今晚。
L3 - 战略任务自动化	基于用户指定的任务，代理使用各种资源和工具自主规划执行步骤，并根据中间反馈迭代计划直至完成。	- 用户：“告诉Alice我明天的日程安排”；代理从用户的日历和聊天记录中收集明天的日程信息，然后总结并通过Messenger发送给Alice。 - 用户：“找出最近适合旅行的城市”；代理列出几个适合旅行的城市，检查每个城市的天气，总结信息，并返回建议。 - 用户：“记录我今晚的睡眠质量”；代理在用户睡觉期间每10分钟检查一次用户是否使用手机、移动或打鼾（基于智能手机传感器和麦克风），总结信息，并生成报告。
L4 - 记忆和上下文感知	代理感知用户上下文，理解用户记忆，并在适当时候主动提供个性化服务。	- 代理根据用户最近的收支情况自动推荐合适的金融产品，考虑用户的个性和风险偏好。 - 代理根据对话和行为估计用户最近的焦虑水平，推荐电影/音乐以帮助放松，并根据严重程度通知用户的朋友或医生。 - 当用户在浴室跌倒时，代理检测到事件并决定是否询问用户、通知用户的家庭成员，或根据用户的年龄和身体状况寻求帮助。
L5 - 数字角色	代理完全代表用户完成复杂事务，可以代表用户与其他用户或代理互动，确保安全和可靠性。	- 代理自动代表用户阅读电子邮件和消息，无需用户干预即可回复问题，并将它们总结为摘要。 - 代理代表用户参加工作讨论会议，根据用户的工作日志表达意见，听取建议，并撰写会议记录。 - 代理记录用户的日常饮食和活动，私下研究或咨询专家任何异常情况，并提出健康改善建议。