Stable Audio Open 1.0文生音乐教程新手向超简单资源模型分享

最新推荐文章于 2025-05-16 19:07:36 发布
最新推荐文章于 2025-05-16 19:07:36 发布
阅读量869 收藏 20
点赞数 23
文章标签： ai AIGC
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yonghuojun/article/details/145896834
版权

文生音乐

大家好，我是每天分享AI绘画的萤火君！

这篇文章给大家分享点不一样的内容：文生音乐/文生音频。

今天使用的模型是由大名鼎鼎的Stability AI公司发布的Stable Audio Open 1.0，Stability AI就是发布SD1.5、SDXL、SD3和SD3.5的那家公司，虽然现在AI绘画界的王者是Flux，不过还是有很多场景、很多同学在使用SD系列的模型，Stability AI这家公司也发布过很多有趣的模型，Stable Audio Open 1.0就是其中之一。

模型介绍

Stable Audio Open 1.0 是 Stability AI 推出的开源音频生成模型，能够通过文本提示生成最长 47 秒的高质量音效和短音乐片段。它基于 Transformer 架构的潜在扩散技术，专为音乐制作和声音设计优化，可生成鼓点、乐器即兴片段、环境声、拟音等素材。用户可对模型进行微调，例如根据个性化鼓点录音生成新节奏。训练数据包含超 48 万条授权音频，生成内容可安全商用。

环境准备

这里使用的运行环境是 ComfyUI，请将ComfyUI升级到最新版本。

没有ComfyUI的同学建议先使用云环境来运行，无需复杂且容易出错的环境配置，待有应用价值了，再到本地折腾也不迟。我的云镜像：好易智算

模型下载：

模型下载后放到基础模型目录，一般是 ComfyUI/models/checkpoints 目录。

模型下载后放到clip目录，一般是 ComfyUI/models/clip 目录。

访问 huggingface 不方便的同学可以发消息“文生音频”到我的公众号“萤火AI绘画”即可获取相关模型。

工作流

工作流特别简单，请看下图（文末下载）：

我们可以看到，这个文生音频的工作流和生成图片的工作流样子差不多，也是要加载扩散模型、VAE模型和文本编码器模型，填写正向提示词和反向提示词，使用采样器和调度器进行生成，最后通过解码器输出音频数据，唯一看起来差别比较大的是这里设置的是音频长度，而不是图片尺寸。

还有几个采样器的参数有点不同，也需要特别关注下：

再给大家分享几个提示词：

更多提示词见资源下载。

资源下载

本文用到的插件、提示词、工作流和模型都已经整理好，下载地址：夸克网盘分享

另外我还免费分享了几十条ComfyUI工作流，给我的公/众\号 “萤火AI绘画” 发消息 “工作流” 即可获取。

如果你需要全面学习AI绘画，获取更加好用的高级工作流，请点击下方链接或者扫码订阅小册：小报童

yonghuojun
关注
大模型学习资源分享（覆盖应用、原理、开发、资讯）
云上笛暮
08-17 1198
【前言】2022年的12月，对所IT从业者来说，应该都是记忆深刻的。那时chatgpt横空出世，席卷全球，大家都在寻求一个账号进行体验，随后这股趋势就一发不可收，百模型大战、千模大战相继而来。但在被各类AIGC应用惊艳后，我们自然想进一步探索其背后实现的原理，AI虽然门槛高，笔者自学过程中也’三起两落“过，幸运的是2022年底转机出现了，一方面确实感受到了生成式AI的强大，另一方面公司也刚好大力投入这块业务，理论结合实践，实践反哺理论，这一次确实扎进去了。
【AI大模型企业级应用开发实战】企业级应用集成AI大模型的架构，包括大模型概述、集成实践、技术架构设计及应用场景《AI大模型应用架构（ALLMA）白皮书》
热门推荐
AI天才研究院
06-30 1万+
随着大模型浪潮的兴起，生产力将发生质的变化，从而引发生产力和生产关系的重塑。随着模型能力的提升和使用成本的降低，基于大模型构建应用将成为主流趋势。然而，应用层能否与大模型高效交互，将成为产品方案探索效率和效果的关键因素。因此，在模型之上的工程架构中，必须构建一套完整的大模型交互管道（Interface），将应用层（Application） 和模型层（Model）进行串联，为诸如Prompt Engineering、Fine-Tuning和模型评估等关键环节提供全面支持，以实现产品方案探索的降本增效 ....
ComfyUI中运行Stable Audio Open，实现背景音乐、音效自由
聚梦小课堂
06-27 3008
stability在一个月之前默默的发布了Stable Audio Open 1.0的音频音效生成模型，不过好像影响力一般，也没有太多文章分享测试，而今天看comfyui作者的一篇介绍文档，他已经让comfyui默认支持了这个模型。
【Stability持续开源】Stable Audio Open 1.0 开源了
weixin_41446370的博客
06-06 886
Stable Audio Open 是一种开源的文本到音频模型，已经推出，允许用户从简单的文本提示中生成长达 47 秒的高质量音频数据。该模型非常适合创建鼓点、乐器即兴演奏、环境声音、拟音录音和其他用于音乐制作和声音设计的音频样本。用户还可以根据他们的自定义音频数据微调模型，使他们能够从自己的鼓录音中创建新的节拍。与商业 Stable Audio 产品不同，Stable Audio 产品可生成长达 3 分钟的连贯音乐结构的完整曲目，而 Stable Audio Open 专注于音频样本、音效和制作元素。
Stable Audio Open模型部署教程：用AI打造独家节拍，让声音焕发新活力！
SJJS_1的博客
12-05 1357
Stable Audio Open 是一个开源的文本到音频模型，允许用户从简单的文本提示中生成长达 47 秒的高质量音频数据。该模型非常适合创建鼓点、乐器即兴演奏、环境声音、拟音录音和其他用于音乐制作和声音设计的音频样本。用户还可以根据他们的自定义音频数据微调模型，使他们能够从自己的鼓录音中创建新的节拍。
Stability AI 开源Stable Audio Open！可生成47秒的立体声音频！
JxyyzAI的博客
06-20 611
根据Stability AI 介绍，Stable Audio Open使用了486,492个录音训练数据，其中 472,618 个来自Freesound，13874个来自免费音乐档案馆，并且所有音频文件均根据 CC0、CC BY或CC Sampling+获得了商业许可。与 Stability AI 的商业 Stable Audio 产品不同，Stable Audio 可生成长达 3 分钟的更长、连贯的音乐曲目，而 Stable Audio Open 专注于使用文本提示生成长达 47 秒的高质量音频数据。
Stable Audio 在线体验及部署经验
旭的博客
06-10 2778
本文主要介绍使用virtualenv库生成venv，进而部署/运行Stable-Audio-Open-1.0文生音频模型的方法。
Stability AI开源文本到音频生成模型；字节跳动强大的TTS；可在手机上部署的多模态大模型；小爱音箱接入gpt
haleycat的博客
06-06 1926
Stable Audio Open是一个开源的文本到音频生成模型，可生成长达47秒的音频样本和音效。Stable Audio Open 是由Stability AI发布的一款开源模型，专门用于生成短音频样本和音效。这个模型能够根据文本提示生成最高47秒的音频数据，适用于创建鼓点、乐器片段、环境音效、拟音录音和其他音乐制作元素。Stable Audio Open 主要面向声音设计师、音乐人和创意社区，允许用户在自定义音频数据上进行微调，从而生成新的音频样本。
Stability AI发布AI音频模型Stable Audio Open，文本生成47秒高清音效
nulifancuoAI的博客
06-12 1182
Stability AI这家以开源图像生成模型 Stable Diffusion 而闻名的公司，在 6 月 6 日宣布开源其最新的 AI 音频模型 Stable Audio Open。这一新模型可以根据简单的文本提示生成最多 47 秒的高质量音频数据，为音乐制作和声音设计领域带来了新的可能性。Huggingface模型下载：AI快站模型免费加速下载：Stable Audio Open 的开源，为 AI 音频生成领域带来了新的突破。
最新的强大的文生视频模型Pyramid Flow 论文阅读及复现
buganything的博客
12-25 1628
论文提出了一种高效的视频生成建模方法，称为金字塔流匹配，旨在通过降低计算复杂度来优化视频生成过程。该方法避免了直接在全分辨率下进行训练，而是将视频生成过程分解为多个在不同分辨率下运行的金字塔阶段，仅在最终阶段达到全分辨率。连续性：不同金字塔阶段的生成轨迹相互链接，后续阶段继续从前一阶段生成，避免了每个阶段从纯噪声重新生成的需要。统一模型：与为每个图像金字塔使用独立模型不同，金字塔流匹配算法将它们集成到一个统一的模型中，通过端到端优化实现更优雅的实现，并大幅加快训练速度。
Diffusion Models视频生成-博客汇总
沉迷单车的追风少年
10-28 4580
Diffusion Models视频生成-博客汇总
Stable Audio Open：Sora、可灵视频配音神器来了！
jingtian2024的博客
11-04 572
是一个开源的AI音乐生成工具，通过文本输入就能生成多种音频类型，包括鼓点、旋律和环境音效。它支持动态加载模型、自带随机提示功能、内置 BPM 和节拍选择器，支持将生成的音频转换为 MIDI 格式，还能自动剪辑音频长度，方便导入各种音乐软件。这个工具大大降低了音乐创作的门槛，是创作者们的强大助手。
【AIGC梦幻时尚】：浅粉色调与流畅线条的优雅氛围营造
dingzuoai的博客
05-15 273
进入页面后，选择“AI”，在左侧列表选择文生图，在绘画描述中输入要生成图片的描述，也就是提示词（prompt），如果你不知道怎么更好的形容你想要的图片，可以让它帮你优化你输入的内容，描述词好了之后还可以选择自己需要图片的风格以及尺寸，可以选择一次性生成1-4张图片，最后在右下角点击“立即生成”按钮。该平台突破传统工具对专业术语的依赖，用户仅需输入如“水墨风格的山间庭院，晨雾中若隐若现”等生活化描述，即可通过。能力，实现了人物动态、场景逻辑的高度一致性，尤其擅长武侠、科幻等复杂题材的连贯性创作。
AIGC与数字媒体实验室解决方案分享
tipdm0301的博客
05-14 895
深度融合AIGC技术，培养能够驾驭新质生产力的数字媒体人才
【AIGC东方华彩】：红金旗袍与华丽发饰的古韵光影叙事
dingzuoai的博客
05-15 232
进入页面后，选择“AI”，在左侧列表选择文生图，在绘画描述中输入要生成图片的描述，也就是提示词（prompt），如果你不知道怎么更好的形容你想要的图片，可以让它帮你优化你输入的内容，描述词好了之后还可以选择自己需要图片的风格以及尺寸，可以选择一次性生成1-4张图片，最后在右下角点击“立即生成”按钮。该平台突破传统工具对专业术语的依赖，用户仅需输入如“水墨风格的山间庭院，晨雾中若隐若现”等生活化描述，即可通过。能力，实现了人物动态、场景逻辑的高度一致性，尤其擅长武侠、科幻等复杂题材的连贯性创作。
创意生图搭配酷炫特效，AIGC直播礼物多元玩法助力平台互动再升级
tx_videocloud的博客
05-16 716
比如，可在不同的节日、运营活动时，上线符合主题的图生图模型，上传主播图片，二次创作带有主播特色的AI写真等。腾讯云音视频联合TME天琴实验室，基于MUSE AI技术，为企业提供了一站式的AI直播礼物解决方案，帮助客户集成AI图片生成能力、实时特效处理、礼物特效播放等相关能力，一步到位，快速解锁AIGC直播礼物新玩法。直播间的互动氛围至关重要，通过礼物的展示和PK打榜功能，观众可以直接参与到直播的互动中，为自己支持的主播加油打气，同时也为直播增添了更多的竞技和娱乐元素。，保证丝滑流畅的播放效果；
「Mac畅玩AIGC与多模态40」开发篇35 - 用 Python 开发服务对接 SearxNG 与本地知识库
最新发布
天月智联
05-16 804
本文介绍如何使用 Python 构建一个双通道搜索服务接口，集成本地聚合搜索引擎 SearxNG 和本地知识库，并返回标准化的 JSON 数据。该接口适用于智能体插件系统，支持本地 Agent 应用开发和 Dify 插件集成。文章详细说明了目标功能，包括通过 Flask 实现搜索服务端接口、封装 SearxNG 和知识库检索请求、整合搜索结果并返回统一格式。目录结构展示了项目文件布局，包括主服务入口、知识库内容、FAISS 索引文件和构建脚本。安装依赖部分列出了所需的 Python 包。知识库文件 kb_d
论文降重新思路：算法优如何破解AIGC检测困局？
CikAicool的博客
05-16 294
近期高校引入的AIGC检测系统让许多学生陷入焦虑——传统的同义词替换、扩写缩句等人工降重手段已难以应对算法升级。​“当你的论文被知网AIGC检测标红30%，是连夜重写还是寻找更科学的解决方案？本文将从技术底层解析最新检测机制，并分享一套实测有效的智能优化方案。
AIGC技术路线图
03-15
<think>好的，我现在需要处理用户关于AIGC（生成式人工智能）技术发展路径和关键节点的查询。首先，我需要回顾用户提供的引用内容，确保回答准确并正确引用。用户提到了两个引用，[^1]和[^2]，其中引用[1]详细描述了AIGC的发展历程、技术推进路线、应用场景及未来前景，而引用[2]则侧重于文生图技术的发展。 首先，我需要整理AIGC技术的发展历程，特别是关键的时间节点。根据引用[1]，AIGC的发展可以分为几个阶段：萌芽期、探索期和爆发期。例如，2014年GAN的提出是一个重要节点，2017年Transformer架构的推出也是关键。同时，OpenAI的模型发展进程如GPT系列也需要涵盖。 接下来是技术推进路线。这里需要区分不同技术方向，如生成模型架构（GAN、Transformer、Diffusion）、多模态生成技术和强化学习的结合。引用[1]提到了这些技术，需要详细说明每个技术的贡献和时间点。 关键技术部分需要列举如GAN、Transformer、扩散模型、CLIP等，并解释它们的作用。例如，扩散模型在图像生成中的应用，如Stable Diffusion，属于引用[1]和[2]的内容。 应用场景方面，用户可能想知道AIGC在文本、图像、视频等领域的应用，这部分引用[1]的2.1和3.1部分有涉及，需要结合实例说明，如DALL-E和MidJourney。 未来展望部分，引用[1]的4.1提到了科研重要性，需要强调技术创新和伦理问题，这也符合当前AI发展的趋势。 在回答过程中，必须确保所有数学表达式正确使用LaTeX格式，如生成模型的数学公式。例如，GAN的目标函数可以表示为$$ \min_G \max_D V(D, G) = \mathbb{E}_{x \sim p_{data}}[\log D(x)] + \mathbb{E}_{z \sim p_z}[\log (1 - D(G(z)))] $$，并正确引用[^1]。 用户要求生成相关问题，我需要设计四个与AIGC技术发展相关的问题，涵盖关键技术对比、多模态生成难点、伦理挑战和产业影响，确保问题具有深度和引导性。 最后，检查引用标识是否正确添加，如每个关键点后的引用[^1]或，并确保回答结构清晰，符合用户的中文要求，避免使用任何Markdown格式，保持自然流畅。</think>### AIGC技术发展路径与关键节点解析 #### 一、技术发展历程 1. **萌芽期（2014年前）** - 2014年，生成对抗网络（GAN）的提出标志着AIGC技术进入新阶段。其数学目标函数可表示为： $$ \min_G \max_D V(D, G) = \mathbb{E}_{x \sim p_{data}}[\log D(x)] + \mathbb{E}_{z \sim p_z}[\log (1 - D(G(z)))] $$ 该框架为图像生成奠定了基础。 - 同期，变分自编码器（VAE）通过概率建模实现数据生成，公式为： $$ \log p(x) \geq \mathbb{E}_{q(z|x)}[\log p(x|z)] - D_{KL}(q(z|x) \| p(z)) $$ 2. **探索期（2017-2020）** - 2017年，Transformer架构的提出（论文《Attention Is All You Need》）彻底改变了序列建模，公式中的自注意力机制为： $$ \text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V $$ 这一架构支撑了GPT、BERT等大语言模型。 - 2020年，OpenAI发布GPT-3（1750亿参数），验证了模型规模对生成能力的提升。 3. **爆发期（2021至今）** - 2021年，扩散模型（Diffusion Models）在图像生成领域超越GAN，其核心公式为： $$ q(x_t|x_{t-1}) = \mathcal{N}(x_t; \sqrt{1-\beta_t}x_{t-1}, \beta_t I) $$ Stable Diffusion等工具推动文生图技术普及。 - 2022年，ChatGPT（基于GPT-3.5/4）实现自然语言交互突破，带动AIGC应用爆发。 --- #### 二、关键技术路线图 | 技术方向 | 关键进展 | 代表性模型/工具 | |----------------|--------------------------------------------|--------------------------| | **生成模型架构** | GAN → Transformer → Diffusion | StyleGAN、GPT-3、Stable Diffusion | | **多模态生成** | 文本→图像→视频→3D | DALL·E、Sora、Point-E | | **训练方法** | 无监督预训练 → 指令微调 → 人类反馈强化学习（RLHF） | InstructGPT、ChatGPT | --- #### 三、核心技术突破 1. **生成模型架构创新** - **扩散模型**：通过逐步去噪实现高质量生成，解决了GAN的模式崩溃问题[^2]。 - **Transformer跨模态扩展**：如CLIP模型将文本与图像映射到同一空间，公式为： $$ \text{similarity} = \text{cosine}(E_{\text{text}}(t), E_{\text{image}}(i)) $$ 2. **训练数据与算力突破** - 训练数据集规模从GB级（GPT-2）扩展到TB级（GPT-4）[^1]。 - 算力需求呈指数增长，GPT-3训练需$3.14 \times 10^{23}$ FLOPs。 --- #### 四、典型应用场景 1. **文生图**：MidJourney、Stable Diffusion实现“文字→图像”生成。 2. **代码生成**：GitHub Copilot基于Codex模型自动补全代码。 3. **数字人创作**：通过NeRF、Audio2Face等技术生成3D虚拟形象。 --- #### 五、未来发展方向 1. **可控生成**：提升生成内容的精确控制能力（如空间约束$f(x,y,z)=0$）。 2. **推理能力增强**：结合符号逻辑实现可解释生成，公式化表示为： $$ \text{Generate}(x) = \text{NN}(x) \oplus \text{SymbolicReasoning}(x) $$ 3. **伦理与安全**：开发内容检测算法（如检测生成文本的统计特征$p_{\text{fake}}(x)$）[^1]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值