情感语音，为AI伴侣注入“灵魂”

优秀的AI伴侣，能够倾听、理解并回应你的情感需求，你可以按照自己喜欢的方式与TA建立联系。

Caryn.AI是以网络红人Caryn Marjorie为原型，采用AI虚拟人制作技术合成的虚拟人。23岁的Caryn Marjorie是一位网红，在SnapChat上拥有200万粉丝。她推出了Caryn AI，这是一个基于GPT-4 API接口的AI聊天机器人，具有她的声音、言行和个性。

拥有一个由AI生成的女友不再是像《Her》这样的科幻电影中的专属特权。近年来，允许创建适合个人口味的陪伴应用程序呈倍增趋势，并且它们的产品也变得更加现实。

来源：电影《Her》截图

随着ChatGPT、Bard等生成式AI聊天机器人的进步，与机器的对话已经成为人际关系领域的一部分也就不足为奇了。Replika、Eva AI、Intimate、DreamGF和RomanticAI等选择繁多，它们都具有相似的功能和特性。

01 创建一个虚拟伴侣

实际上，创建一个虚拟女友或男友非常简单，类似Eval AI的网站可以根据个人喜好设计并制作虚拟伴侣。

为了能够进行无限的互动，包括发送书面消息、语音笔记，以及扩大范围以获取女友的照片和视频，用户则需要支付费用。更先进的应用程序提供选择未来伴侣的所有身体特征的可能性，从眼睛颜色到发型，从体型到种族。

“创建并连接一个虚拟AI伴侣，它会倾听、回应并重视你。按照你自己的方式建立关系和亲密关系”，该网站的登录页面写道。一个人找到一个符合自己所有喜好的定制伴侣，这在现实生活中是无法实现的，但借助AI，这个愿望在虚拟世界中成为可能。

02 技术难点

其中的技术难点在于情感交互，人类重要的交互方式之一是语言。

由于虚拟伴侣主打的是陪伴和聊天，需要情绪的理解和陪伴。当你悲伤的时候，虚拟人需要安慰你；当你高兴的时候，虚拟人需要为你高兴。悲你所悲，喜你所喜，真正的情感抚慰和陪伴，就需要这种情绪化的聊天技巧。

这无论对于语音交互中的语音识别还是语音合成都是非常技术难点。如果想让虚拟伴侣具有情感，需要设计既要能够准确语音识别又能准确的情感识别的框架，属于多任务学习的范畴，大概框架如下所示：

整个流程框架中最具挑战性的方面在于必须获取同时包含文本标注和情感标注的语音数据。这类数据的采集成本较高，需要专业人员进行指导和标注，因此相对来说比较稀缺。这一瓶颈成为限制虚拟人情感交流发展的主要障碍。

03 情感语音识别数据

基于以上挑战，海天瑞声推出全新情感标注语音识别数据库——美国西班牙语识别语音库-对话数据。该数据库适合用于训练虚拟伴侣或者其他语音对话机器人，适合用于日常场景以及情感语音需求。该数据库包含25组对话，由25男25女进行录制。共30小时，每组对话约1.5小时。数据标注精细，包含文本标注、话题标注、两层情绪标注。两层情绪标注中，包括中性、快乐、悲伤、厌恶、倩怒、恐惧、积极掠讶、消极惊讶和NA等态度；以及中性、积极、消极和NA等态度。讨论话题范围广泛，包含生活、嫃乐、健康、地理等。例如: 工作、旅行、教育，电影、音乐、爱好，体育、健康、地理、国家等。