OpenAI开源全新解码器和语音识别模型Whisper-v3

在11月7日OpenAI的首届开发者大会上，除了推出一系列重磅产品之外，还开源了两款产品，全新解码器Consistency Decoder（一致性解码器）和最新语音识别模型Whisper v3。

据悉，Consistency Decoder可以替代Stable Diffusion VAE解码器。该解码器可以改善所有与Stable Diffusion 1.0+ VAE兼容的图像，尤其是在文本、面部和直线方面有大幅度提升。仅上线一天的时间，在Github就收到1100颗星。

Whisper large-v3是OpenAI之前开源的whisper模型的最新版本，在各种语言上的性能都有显著提升。OpenAI会在未来的API计划中提供Whisper v3。

解码器地址：https://github.com/openai/consistencydecoder

Whisper v3地址：https://github.com/openai/whisper

Consistency Decoder效果展示

Consistency Decoder算是OpenAI“一致性”家族里的新成员，所以，「AIGC开放社区」想为大家介绍一下OpenAI之前开源的另一个创新模型——Consistency Models。

扩散模型的出现极大推动了文生图片、视频、音频等领域的发展，涌现了GAN、VAE等知名模型。但是这些模型在推理的过程中，过于依赖迭代采样过程，导致生成效率非常缓慢或生成图片质量太差。

OpenAI为