享受AI语音助手
我愿将今年称为Home Assistant AI语音元年。去年12月,Home Assistant官方正式推出了Home Assistant Voice Preview Edition设备。
这一举措表明官方认为相关软硬件配套已初步成熟,可以体验。与此同时伴随着过去两年AI技术的飞速发展,AI语音助手不再是遥不可及的梦想。无论你是刚入门的新手,还是经验丰富的Home Assistant玩家,现在都是时候在Home Assistant中体验AI语音助手的力量了。
为此我将发布一系列文章介绍Home Assistant AI语音助手,本期文章主要介绍以下两个方面内容:
- AI语音助手如何工作
- 快速部署基于Gemini大模型的AI语音助手
我知道大家通常对理论的兴趣不如实操,但理论才是实操的基础。许多小伙伴在遇到问题时不知道如何下手解决,往往是因为缺乏理论知识的储备。
AI语音助手如何工作
1. 语音处理流
- Assist:Home Assistant中自带的语音助手
- Pipeline:是一种将一系列处理步骤有序组合在一起的方式,每个步骤通过处理数据并将其传递到下一个步骤,最终完成整个任务
- STT:Speech-to-Text,语音转文本
- TTS:Text-to-Speech,文本转语音
首先,通过某种硬件采集用户的语音,然后通过STT(相当于人耳)将音频转换为文本,将转换后的文本发送给Assist(相当于人脑)进行处理。虽然可以直接使用Home Assistant系统自带的Assist(对话代理),但系统自带的功能主要专注于智能家居控制,无法处理更复杂