林宋的搬砖流水账

两级结构：两个masked generate transformer的模型，将一张图量化成固定的离散点，每次mask一部分，剩下的是ground truth，然后去预测mask的部分。text2semantic的时长是提前给到的；semantic token来自w2v-bert-2.0；acoustic token 的encoder 来自DAC， decoder来自vocos；

NA​3×10−52×10−43×10−65×10−52×10−64×10−62×10−62×10−6。

DATA: 248k 数据。

一个LLM模型做11个音频任务token的类型：Phoneme，MIDI转成frame-f0，text【机器翻译模型提取的emb+T5】，Semantic Token【Hubert 9th layer-kmeans】模型的缺点：同时有多种任务，数据的质量不能保证；可能会引入错误；1B 的模型size基于各种audio 数据，重新训练的codec，优化了判别器；基于自己的模型，8个码本 的效果更好；

文章目录微软小冰全双工字节大模型语音交互[Language Model Can Listen While Speaking](https://arxiv.org/html/2408.02622v1)微软小冰全双工全双工的定义：一路持续的听，upload audio；一路持续的输出，download audio；涉及对输入音频的理解，包括语义理解，场景处理【是否多人对话，是在和机器人对话还是接听电话，混响降噪等】，节奏控制【比如有多段回复在进程池中，需要控制下一句回复什么，是否有的句子不需要回复，

Rithesh KumarDescript, Inc.2023NIPScode文章目录abstratmethodabstrat44.1k音频编码为8k bps，接近90x压缩比；可以处理speech, musiccodebook collapse: 部分码本没有利用到。----quantizer dropout ：允许单个模型支持可变比特率，但实际上会损害全带宽音频的质量。-----method编码器评判的标准：（1）近乎无损的还原；（2）高压缩比；（3）适用于各种信号（spe

audioCodec可以将音频量化，从而复用LLM结构，但是大部分高质量的Codec码率都比较高，不利于模型训练收敛，计算开销也很大。本文的目的是提出一个低比特率 & 高质量的Codec。提出SemantiCodec，支持三种比特率，25/50/100；semantic encoder，使用自监督的AudioMAE，+ kmeans 聚类；基于大数据得到聚类，分类准确度有95%。

PeriodWave，第一个基于周期信息用于高分辨音频生成的结构。使用生成能力强大的flow-matching，结合优化器路径进行快速采样。探讨不同的ODE对于音频生成的效果。使用多周期估计器【使用质数prime number避免重叠】可以显著提升语音质量，但是会增大计算量导致infer 变慢。本文提出一个period-conditional universal estimator ，可以在推理阶段并行的推理多个周期路径。此外，还使用DWT变换，用以建模高频低频信息。用FreeU 降低高频噪声。

因为一句prompt 生成多句音频，导致合成音频的韵律会比较单调，虽然和prompt 相似度比较高，但是不符合真实世界口语表达的风格多样性。WER: Whisper-large-v3 测试，并不是WER 越低越好，因为有的带口音，合成音频WER低可能说明相似度不够；

【代码】GPT-SoVITS。

Karras noise schedule：名字带Karras的采样器，会在接近终点附近的几个step，noise 更小；作者对比该策略有助于实现更好的生成质量。名字中带a的，采样结果不收敛；考虑到可复现性，我们通常更喜欢可以收敛的结果。当然，如果想要稍微有些变化，可以使用 variational seed。Heun – A more accurate but slower version of Euler. 因为每步要采样两次。Ancestor Samplers：比如。

预测连续的mel spec代替预测VQ采样。难点在于：如何设计损失函数，LLM使用CE loss；---- 使用回归loss，并且引入spectrogram flux loss 以增加预测梅尔频谱的多样性并消除重复问题；如何增加多样性，LLM 通过top-k的选择，-----使用latent sampling module，源于自变分推断，作为一种序列采样策略，从而增强生成的音频样本的多样性。并且reduction scaler是可以调整的，得以一次预测多帧mel，减少序列长度不匹配的难点。

监督训练得到的speech token，

motivation: 使用flow-matching的结构，实现对TTS细粒度的情感控制，并且能够合成【哭、笑】等非语言表达。dataset：清洗了2.7w 小时的情感数据；基于meta的voicebox 架构，是对ELaTE工作的扩展（也是做细粒度情感控制，但是只能合成笑声）

通常TTS收集的数据都是单语种，单风格的，也就是说语言和音色绑定，风格和音色绑定。为了解决这些问题，作者提出GenerTTS，（1）hubert-based bottleneck解耦音色和发音/风格，（2）使用互信息，mutual info，最小化style和语言之间的关系；

使用CoT的思路，和Valle的框架，先实现LLM预测音素级别pitch/duration，然后预测speech token。

BN主要缺点是对batchsize的大小比较敏感，由于每次计算均值和方差是在一个batch上，所以如果batchsize太小，则计算的均值、方差不足以代表整个数据分布。因为在图像风格化中，生成结果主要依赖于某个图像实例，所以对整个batch归一化不适合图像风格化中，因而对HW做归一化。可以加速模型收敛，并且保持每个图像实例之间的独立。LayerNorm：channel方向做归一化，算CxHxW的均值，主要对RNN(处理序列)作用明显，目前大火的Transformer也是使用的这种归一化操作；

文章目录model archmodel archgithub测试网页text encoder 换成DiT结构；decoder 用flow结构，text 到mel的时长对齐，使用MAS，和Glow-TTS的结构很像【encoder从transformer变成了diffusion】

stable diffusion的输入【step, noisy image，文本特征】,为了加强文本对生成内容的控制，引入classifier free guidance进行控制；有文本控制和没有文本控制的情况下，生成两种噪声，互减之后的部分既是文本引导改变的噪声部分，乘一定的系数对文本引导改变的结果进行加强，再加上没有文本引导部分的噪声，合并成本轮预测的噪声。stable diffusion的推理流程：CLIP模型对文本进行编码，得到文本-图片共享域的embedding；

160，发现增大到8。