大模型从最初的语言大模型逐渐发展到多模态大模型,与大模型的对话也从最初的纯文本形式的对话发展到语音、视频等多种方式的对话。那么就需要有对应的框架支持多模态的对话,这就是本篇文章的主角 TEN。
TEN(Transformative Extensions Network)是一个用于创建对话式 AI 的语音代理框架。
一、TEN 的优势
TEN 框架具有以下优势:
原生支持高性能实时多模态交互
如果您的 AI 应用涉及复杂的视听场景,TEN 是您的最佳选择。它提供高性能和低延迟,并对各种扩展之间的交互进行了广泛优化,以确保 AI 应用的高效开发。
支持多种编程语言和平台
开发者可以使用多种编程语言(如 C++、Go 和 Python,未来还将支持 JavaScript/TypeScript)创建模块化和可重用的扩展。此外,TEN 框架可以在 Windows、Mac、Linux 和移动设备等各种平台上无缝运行。
边缘云集成
通过 TEN 框架,部署在边缘和云环境中的扩展可以轻松组合,创建多样化的应用场景。对于注重隐私的边缘部署,小型模型可以利用本地计算能力来降低成本和延迟,同时可以集成云端大型模型以实现成本和性能的最佳平衡。
突