【音临实验室】AI扒谱/创作/其他——rachel备忘录

“一切都源于，技术看awesome，学术看survey，再找找社区和sig，特别是国外的”

A list of demo websites for automatic music generation research（节选）

文本到音乐/音频

多方面调理 （diffusion;maman24）： https://benadar293.github.io/multi-aspect-conditioning/

Presto （diffusion; novack24arxiv）： https://presto-music.github.io/web/

MMGen （diffusion; wei24arxiv）： https://awesome-mmgen.github.io/

Seed-Music （diffusion + transformer;bai24arxiv）：https://team.doubao.com/en/special/seed-music

SongCreator （diffusion;lei24arxiv）：https://songcreator.github.io/

MSLDM （扩散;xu24arxiv）： https://xzwy.github.io/MSLDMDemo/

Multi-Track MusicLDM （diffusion;karchkhadze24arxiv）：https://mt-musicldm.github.io/

FluxMusic （diffusion;fei24arxiv）：https://github.com/feizc/FluxMusic

控制-转移-扩散 （diffusion;demerlé24ismir）：https://nilsdem.github.io/control-transfer-diffusion/

AP 适配器 （diffusion;tsai24arxiv）：https://rebrand.ly/AP-adapter

MusiConGen （transformer;lan24arxiv）：https://musicongen.github.io/musicongen_demo/

稳定音频 Open （diffusion;evans24arxiv）：https://stability-ai.github.io/stable-audio-open-demo/

MEDIC （扩散;liu24arxiv）： https://medic-zero.github.io/

MusicGenStyle （transformer; rouard24ismir）： https://musicgenstyle.github.io/

MelodyFlow（transformer + diffusion;lelan24arxiv）：https://melodyflow.github.io/

MelodyLM （transformer + diffusion;li24arxiv）：https://melodylm666.github.io/

JASCO （flow;tal24arxiv）：https://pages.cs.huji.ac.il/adiyoss-lab/JASCO/

MusicFlow （diffusion;prajwal24icml）： N/A

Diff-A-Riff （diffusion;nistal24arxiv）：https://sonycslparis.github.io/diffariff-companion/

DITTO-2 （diffusion;novack24arxiv）：https://ditto-music.github.io/ditto2/

SoundCTM（扩散;saito24arxiv）：N/A

Instruct-MusicGen （transformer;zhang24arxiv）：https://foul-ice-5ea.notion.site/Instruct-MusicGen-Demo-Page-Under-construction-a1e7d8d474f74df18bda9539d96687ab

QA-MDT （扩散;li24arxiv）：https://qa-mdt.github.io/

稳定音频 2 （diffusion;evans24arxiv）：https://stability-ai.github.io/stable-audio-2-demo/

Melodist （transformer;hong24arxiv）： https://text2songmelodist.github.io/Sample/

SMITIN （变压器;koo24arxiv）： https://wide-wood-512.notion.site/SMITIN-Self-Monitored-Inference-Time-INtervention-for-Generative-Music-Transformers-Demo-Page-983723e6e9ac4f008298f3c427a23241

稳定的音频（扩散;evans24arxiv）：https://stability-ai.github.io/stable-audio-demo/

MusicMagus （diffusion;zhang24ijcai）： https://wry-neighbor-173.notion.site/MusicMagus-Zero-Shot-Text-to-Music-Editing-via-Diffusion-Models-8f55a82f34944eb9a4028ca56c546d9d

DITTO （diffusion; novack24arxiv）： https://ditto-music.github.io/web/

MAGNeT （变压器;ziv24arxiv）： https://pages.cs.huji.ac.il/adiyoss-lab/MAGNeT/

Mustango （diffusion;melechovsky24naacl）： https://github.com/AMAAI-Lab/mustango

Music ControlNet （diffusion;wu24taslp）：https://musiccontrolnet.github.io/web/

InstrumentGen （transformer;nercessian23ml4audio）： https://instrumentgen.netlify.app/

Coco-Mulla （transformer;lin23arxiv）：https://kikyo-16.github.io/coco-mulla/

JEN-1 作曲家 （diffusion;yao23arxiv）： https://www.jenmusic.ai/audio-demos

UniAudio （transformer;yang23arxiv）：http://dongchaoyang.top/UniAudio_demo/

MusicLDM （diffusion;chen23arxiv）： https://musicldm.github.io/

InstructME （diffusion;han23arxiv）：https://musicedit.github.io/

JEN-1 （扩散;li23arxiv）： https://www.futureverse.com/research/jen/demos/jen1

MusicGen （Transformer;copet23arxiv）：https://ai.honu.io/papers/musicgen/

MuseCoco （变形金刚;lu23arxiv）： https://ai-muzic.github.io/musecoco/ （象征性音乐）

MeLoDy（Transformer + diffusion;lam23arxiv）：https://efficient-melody.github.io/

MusicLM （Transformer; agostinelli23arxiv）： https://google-research.github.io/seanet/musiclm/examples/

Noise2Music （diffusion;huang23arxiv）：https://noise2music.github.io/

ERNIE-Music （diffusion; zhu23arxiv）： N/A

Riffusion （diffusion;）： https://www.riffusion.com/

文本到音频

MambaFoley （mamba;xie24arxiv）：n/a

PicoAudio （diffusion;xie24arxiv）：https://zeyuxie29.github.io/PicoAudio.github.io/

AudioLCM （diffusion;liu24arxiv）：https://audiolcm.github.io/

UniAudio 1.5 （变压器;yang24arxiv）： https://github.com/yangdongchao/LLM-Codec

Tango 2 （柔光;majumder24mm）：https://tango2-web.github.io/

Baton （diffusion;liao24arxiv）： https://baton2024.github.io/

T-FOLEY （diffusion;chung24icassp）： https://yoonjinxd.github.io/Event-guided_FSS_Demo.github.io/

Audiobox （diffusion;vyas23arxiv）：https://audiobox.metademolab.com/

Amphion （zhang23arxiv）：https://github.com/open-mmlab/Amphion

VoiceLDM （diffusion;lee23arxiv）：https://voiceldm.github.io/

音频LDM 2 （扩散;liu23arxiv）：https://audioldm.github.io/audioldm2/

WavJourney （;liu23arxiv）： https://audio-agi.github.io/WavJourney_demopage/

CLIPSynth（扩散;dong23cvprw）：https://salu133445.github.io/clipsynth/

CLIPSonic （扩散;dong23waspaa）：https://salu133445.github.io/clipsonic/

SoundStorm（变形金刚;borsos23arxiv）：https://google-research.github.io/seanet/soundstorm/examples/

AUDIT （diffusion; wang23arxiv）： https://audit-demo.github.io/

VALL-E （Transformer;wang23arxiv）： https://www.microsoft.com/en-us/research/project/vall-e/ （用于语音）

多源扩散模型 （Diffusion;23ARXIV）：https://gladia-research-group.github.io/multi-source-diffusion-models/

Make-An-Audio （diffusion;huang23arxiv）： https://text-to-audio.github.io/ （用于一般声音）

AudioLDM （diffusion;liu23arxiv）： https://audioldm.github.io/ （用于一般声音）

AudioGen （Transformer;kreuk23iclr）：https://felixkreuk.github.io/audiogen/ （用于一般声音）

AudioLM （Transformer;borsos23taslp）：https://google-research.github.io/seanet/audiolm/examples/ （用于一般声音）

音频域音乐生成

VampNet（transformer;garcia23ismir）：https://hugo-does-things.notion.site/VampNet-Music-Generation-via-Masked-Acoustic-Token-Modeling-e37aabd0d5f1493aa42c5711d0764b33

fast JukeBox （jukebox+knowledge distilling;pezzat-morales23mdpi）：https://soundcloud.com/michel-pezzat-615988723

DAG （diffusion;pascual23icassp）： https://diffusionaudiosynthesis.github.io/

音乐！（GAN;pasini22ismir）：https://huggingface.co/spaces/marcop/musika

JukeNox （VQVAE+Transformer;dhariwal20arxiv）：https://openai.com/blog/jukebox/

UNAGAN （GAN;liu20arxiv）： https://github.com/ciaua/unagan

dadabots （sampleRNN;carr18mume）：http://dadabots.com/music.php

给定歌声，生成伴奏

Llambada （transformer;trinh24arxiv）： https://songgen-ai.github.io/llambada-demo/

FastSAG （diffusion;chen24arxiv）： https://fastsag.github.io/

SingSong （VQVAE+Transofmrer;donahue23arxiv）： https://storage.googleapis.com/sing-song/index.html

给定无鼓音频，生成鼓伴奏

JukeDrummer （VQVAE+Transofmrer;wu22ismir）： https://legoodmanner.github.io/jukedrummer-demo/

音频域歌唱合成器

InstructSing （ddsp; zeng24slt）： https://wavelandspeech.github.io/instructsing/

Freestyler （transformer;ning24arxiv）：https://nzqian.github.io/Freestyler/

Prompt-Singer （transformer;wang24naacl）：https://prompt-singer.github.io/

StyleSinger （diffusion;zhang24aaai）：https://stylesinger.github.io/

BiSinger （transformer;zhou23asru）：https://bisinger-svs.github.io/

HiddenSinger （diffusion;hwang23arxiv）：https://jisang93.github.io/hiddensinger-demo/

Make-A-Voice （transformer;huang23arxiv）：https://make-a-voice.github.io/

RMSSinger （扩散;he23aclf）：https://rmssinger.github.io/

NaturalSpeech 2 （diffusion;shen23arxiv）：https://speechresearch.github.io/naturalspeech2/

NANSY++（变压器;choi23iclr）：https://bald-lifeboat-9af.notion.site/Demo-Page-For-NANSY-67d92406f62b4630906282117c7f0c39

UniSyn （;lei23aaai）：https://leiyi420.github.io/UniSyn/

VISinger 2 （zhang22arxiv）：https://zhangyongmao.github.io/VISinger2/

xiaoicesing 2 （Transformer+GAN;wang22arxiv）： https://wavelandspeech.github.io/xiaoice2/

WeSinger 2 （Transformer+GAN;zhang22arxiv）：https://zzw922cn.github.io/wesinger2/

U-Singer（变形金刚;kim22arxiv）：https://u-singer.github.io/

Singing-Tacotron （Transformer;wang22arxiv）：https://hairuo55.github.io/SingingTacotron/

KaraSinger（GRU/Transformer;liao22icassp）：https://jerrygood0703.github.io/KaraSinger/

VISinger （flow; zhang2）： https://zhangyongmao.github.io/VISinger/

MLP singer （混频器块;tae21arxiv）： https://github.com/neosapience/mlp-singer

LiteSing （wavenet;zhuang21icassp）： https://auzxb.github.io/LiteSing/

DiffSinger （diffusion;liu22aaai）[无持续时间建模]：https://diffsinger.github.io/

HiFiSinger （Transformer;chen20arxiv）：https://speechresearch.github.io/hifisinger/

DeepSinger （Transformer;ren20kdd）：https://speechresearch.github.io/deepsinger/

xiaoice-multi-singer： https://jiewu-demo.github.io/INTERSPEECH2020/

小冰星： https://xiaoicesing.github.io/

字节：https://bytesings.github.io/

梨安是我老婆：https://nv-adlr.github.io/Mellotron

Lee 模型 （lee19arxiv）：http://ksinging.mystrikingly.com/

http://home.ustc.edu.cn/~yiyh/interspeech2019/

音频域歌唱风格转换 / 歌唱语音转换

ROSVC （;takahashi22arxiv）： https://t-naoya.github.io/rosvc/

DiffSVC （扩散;liu21asru）： https://liusongxiang.github.io/diffsvc/

FastSVC （CNN;liu21icme）： https://nobody996.github.io/FastSVC/

SoftVC VITS （软弱视频） （）： https://github.com/svc-develop-team/so-vits-svc

Assem-VC （;kim21nipsw）：https://mindslab-ai.github.io/assem-vc/singer/

iZotope-SVC （conv-encoder/decoder; nercessian20ismir）： https://sites.google.com/izotope.com/ismir2020-audio-demo

VAW-GAN （GAN;lu20arxiv）：https://kunzhou9646.github.io/singvaw-gan/

polyak20interspeech （GAN;polyak20interspeech）：https://singing-conversion.github.io/

SINGAN （GAN;sisman19apsipa）： N/A

[MSVC-甘]（GAN）：https://hujinsen.github.io/

https://mtg.github.io/singing-synthesis-demos/voice-cloning/

https://enk100.github.io/Unsupervised_Singing_Voice_Conversion/

Yong&Nam （DSP;yong18icassp）： https://seyong92.github.io/singing-expression-transfer/

王梓钰是我老婆

cystarted （CNN+GAN;wu18faim）：http://mirlab.org/users/haley.wu/cybegan/

音频域语音到歌唱的转换

AlignSTS（编码器/适配器/对准器/diff-decoder;li23facl）：https://alignsts.github.io/

speech2sing2 （GAN; wu20interspeech）：https://ericwudayi.github.io/Speech2Singing-DEMO/

speech2sing（编码器/解码器;parekh20icassp）：https://jayneelparekh.github.io/icassp20/

音频域歌唱校正

deep-autotuner （CGRU;wagner19icassp）： http://homes.sice.indiana.edu/scwager/deepautotuner