qq_18849165的博客

LoRA，即LLMs的低秩分解，是参数微调最常用的方法。用于使用全参数微调会消耗大量的计算资源，所以需要在微调时减少参数量。LoRA的本质是使用更少的训练参数来近似LLM全参数微调所得到的增量参数，从而达到使用更少现存占用，实现高效微调。

回答效果不是很好，重新调调整提示词。

同生成对抗网络（GAN）、变微分自动编码器（VAE）、和Flow模型一样，DIffusion也是一种生成网络。早在2015年就有人提出类似的想法，最终在2020年“denoising diffusion probabilistic models”，即DDPM的横空出世，扩散模型逐渐成为图像生成领域不可获取的模型。Diffusion Model一发力，GAN就过时了？上图对比了常见的四种生成模型的训练方式。生成模型的数据生成过程，可以看成是将一个先验分布的采样点变换成数据分布采样点的过程。