xian0710830114的专栏

VAE（Variational Autoencoder），中文译为变分自编码器。其中AE（Autoencoder）很好理解。那“变分”指的是什么呢?—其实是“变分推断”。变分推断主要用在VAE的损失函数中，那变分推断是什么，VAE的损失函数又是什么呢？往下看吧！

大模型已经有了突破性的进展，图文的生成质量都越来越高，可控性也越来越强。很多阅读大模型源码的小伙伴会发现，大部分大模型，尤其是CV模型都会用到一个子模型：变分自编码器（VAE），这篇文章就以图像生成为例介绍一下VAE，并且解释它问什么天生适用于图像生成。配合代码尽量做到通俗易懂。

Stable Video Diffusion可以将图片变成几秒的视频，从名字就能看出来它使用了Stable Diffusion。现在这个项目还处在早期实验阶段，预训练模型也是效果感人，不过可以试着自己训练。这里先只介绍SVD的安装，目标是项目跑起来，能把一张图片变成3秒左右的视频，下面开始。

StableDiffusion大家已经很熟悉了，那么如何训练自己的sd模型呢，今天我就介绍一下用LoRA训练sd的方法。我们以Chilloutmix为例，Chilloutmix可以生成好看的小姐姐。为了实验LoRA的能力，我们用小哥哥的图片对它进行微调，看效果如何。

现在有很多开源的大模型，他们一般都是通用的，这就意味着这些开源大模型在特定任务上可能力不从心。为了适应我们的下游任务，就需要对预训练模型进行微调。全参数微调有两个问题：在新的数据集上训练，会破坏大模型原来的能力，使其泛化能力急剧下降；而且现在的模型参数动辄几十亿上百亿，要执行全参数微调的话，他贵啊！！于是LoRA出现了，LoRA（Low-Rank Adaptation)是微软提出的一种参数有效的微调方法，可以降低微调占用的显存以及更轻量化的迁移。同时解决了上述两个问题，那它凭什么这么厉害？往下看吧。

ChatGLM是优秀的国产开源大模型，研究的人也比较多，要用它完成自己的任务，还是需要了解它的一些玩法，细节还是很多的。ChatGLM已经更新了几个版本，我就从第一版代码开始记录笔记，后面的版本都是在前一版本进行修改，不会有天翻地覆的变化，所以看到新版本的时候只需要关注变化就可以啦。大模型的内容肯定是很多的，就从比较前置的Tokenizer开始吧。