xian0710830114的专栏

VAE（Variational Autoencoder），中文译为变分自编码器。其中AE（Autoencoder）很好理解。那“变分”指的是什么呢?—其实是“变分推断”。变分推断主要用在VAE的损失函数中，那变分推断是什么，VAE的损失函数又是什么呢？往下看吧！

大模型已经有了突破性的进展，图文的生成质量都越来越高，可控性也越来越强。很多阅读大模型源码的小伙伴会发现，大部分大模型，尤其是CV模型都会用到一个子模型：变分自编码器（VAE），这篇文章就以图像生成为例介绍一下VAE，并且解释它问什么天生适用于图像生成。配合代码尽量做到通俗易懂。

CBAM（Convolutional Block Attention Module）是2018年被提出的，不同于ViT的Attention，CBAM是为CNN量身定做的Attention模块，实现简单、效果好，你值得拥有。

上一篇文章介绍了一些常用的学习率衰减策略，下面我们再来看看稍微冷门一点的，包括：LambdaLR、PolynomialLR、CyclicLR、CosineAnnealingWarmRestarts、SequentialLR、ChainedScheduler

在深度学习中，学习率是一个非常重要的超参数，它控制了模型在每次权重更新时的步长。学习率衰减策略是指在训练过程中逐步减少学习率，从而使得模型更稳定地收敛到最优解。本文将介绍：LinearLR、StepLR、MultiStepLR、ExponentialLR、CosineAnnealingLR、ReduceLROnPlateau、OneCycleLR

可灵是快手开发的对标SORA的视频生成大模型大模型，toC，主打文生视频和图生视频，已经内测了一段时间，但是审核进度很慢，基本排不上。审核通过后，再点击“生成视频”就可以体验了，功能分为文生视频和图生视频，视频分“高性能”和“高表现”，对应不用的“灵感值”，每天平台赠送66个“灵感值”。前景是两个水气球，一个装着红色液体，另一个装着绿色液体，分别从左右飞出，在镜头中部发生碰撞破裂，水花四溅，两种颜色也发生融合。从生成的5s视频来看，可灵的一致性是很好的，没有乱入、抖动，人物的动作也很丝滑。

最像人声的AI来了！语音开源天花板ChatTTS火速出圈，3天就斩获9k个star。截至发稿前，已经25.9k个star了。这是专门为对话场景设计的语音生成模型，用于LLM助手对话任务、对话语音、视频介绍等，仅支持中英文。硬件要求低，甚至不需要GPU，一台普通PC就能运行。主模型使用了 100,000+ 小时的中文和英文音频数据进行训练。开源的版本是4 万小时基础模型。，这是原项目ChatTTS的地址，不用下，我们要使用的是ChatTTS-ui，是给ChatTTS增加了UI，并打好了包，开包即用。

Transformer有多牛逼不用多说，时隔7年我们再来看看论文原文，看看这篇深刻改变世界的文章都说了什么。当然逐字逐句解读已经意义不大，我们只列考点。

加性注意力（Additive Attention）和点积注意力（Multiplicative Attention，也称为缩放点积注意力，Scaled Dot-Product Attention）是两种常见的注意力机制，用于计算不同序列元素之间的相关性。加性注意力最初用在seq2seq；点积注意力最初用在Transformer。总的来说点积注意力更符合当下的NLP模型，使用的更广泛。

Stable Video Diffusion可以将图片变成几秒的视频，从名字就能看出来它使用了Stable Diffusion。现在这个项目还处在早期实验阶段，预训练模型也是效果感人，不过可以试着自己训练。这里先只介绍SVD的安装，目标是项目跑起来，能把一张图片变成3秒左右的视频，下面开始。

StableDiffusion大家已经很熟悉了，那么如何训练自己的sd模型呢，今天我就介绍一下用LoRA训练sd的方法。我们以Chilloutmix为例，Chilloutmix可以生成好看的小姐姐。为了实验LoRA的能力，我们用小哥哥的图片对它进行微调，看效果如何。

现在有很多开源的大模型，他们一般都是通用的，这就意味着这些开源大模型在特定任务上可能力不从心。为了适应我们的下游任务，就需要对预训练模型进行微调。全参数微调有两个问题：在新的数据集上训练，会破坏大模型原来的能力，使其泛化能力急剧下降；而且现在的模型参数动辄几十亿上百亿，要执行全参数微调的话，他贵啊！！于是LoRA出现了，LoRA（Low-Rank Adaptation)是微软提出的一种参数有效的微调方法，可以降低微调占用的显存以及更轻量化的迁移。同时解决了上述两个问题，那它凭什么这么厉害？往下看吧。

大型模型的神秘并不是不可透视的，今天我们以ChatGLM-6B为例，解析一下模型结构和代码。你会发现，大模型结构并没有那么神秘，相反还挺清晰的，就是Transformer的decoder改造而来的。我们还会看到模型中参数最密集的部分，这也是模型“大”的原因。

绝对位置编码和相对位置编码都有局限性，比如绝对位置编码不能直接表征token的相对位置关系；相对位置编码过于复杂，影响效率。于是诞生了一种用绝对位置编码的方式实现相对位置编码的编码方式——旋转位置编码（RotaryPositionEmbedding,RoPE），兼顾效率和相对位置关系。RoPE的核心思想是通过旋转的方式将位置信息编码到每个维度，从而使得模型能够捕捉到序列中元素的相对位置信息。现在已经在很多大模型证明了其有效性，比如ChatGLM、LLaMA等。

爱因斯坦求和约定(Einstein summation convention)是一种标记的约定, 又称为爱因斯坦标记法(Einstein notation), 可以基于一些约定简写格式表示多维线性代数数组操作，让表达式更加简洁明了。

Milvus是一个开源的向量相似度搜索引擎，专注于大规模向量数据的快速相似度搜索。本文将介绍Milvus的安装，跟着走，肯定能装上(#^.^#)

上班前夕迎来大新闻，那就是Sora了，Sora是什么，有什么牛逼之处，怎么实现的，我们跟着官方文档透露出来的一点点信息捋一捋。