语音模态
星辰语音大模型-超多方言ASR
阿里语音模型
FunAudioLLM - 阿里巴巴通义团队推出的开源语音大模型 | AI工具集
阿里通义音频生成大模型 FunAudioLLM 开源!-阿里云开发者社区 (aliyun.com)
关于模型结构解读
一个是
语音理解模型:SenseVoice
这里又分了小的 大的
还有一个语音合成模型:CosyVoice
语言模型
Llama3.1
Lhttps://github.com/chenzomi12/AIFoundation
技术文章
数据预处理通过很多的bert类模型进行过滤处理
小模型是通过大模型蒸馏出来的
注意力机制不同的qkv对应情况
后训练阶段
SFT RS(拒绝采样) DPO
多模态融合
首先是先把语言模型训练好
架构
MOE与transformer
数据
合成数据 在SFT 阶段
能力上限
Scaling Law
9.11和9.9的比较