专注于人工智能的算法与应用

通过泰勒级数展开，我们将。

同ResNet一样，注意力机制应该也是神经网络最重要的一部分了。想象一下你在观看一场电影，但你的朋友在给你发短信。虽然你正在专心观看电影，但当你听到手机响起时，你会停下来查看短信，然后这时候电影的内容就会被忽略。这就是注意力机制的工作原理。在处理输入序列时，比如一句话中的每个单词，注意力机制允许模型像你一样，专注于输入中的不同部分。模型可以根据输入的重要性动态地调整自己的注意力，注意自己觉得比较重要的部分，忽略一些不太重要的部分，以便更好地理解和处理序列数据。具体来说，是通过q,k,v实现的。

这是因为这个网络在设计的过程中，尽量维持卷积核尺寸大小统一且是奇数（这里是3），所以假设我们直接用卷积核自带的填充，则默认是对称填充，则会导致不能整除而出错。最后输出尺寸大小为（公式 $ \frac{特征图长或宽+2*填充尺寸-卷积核尺寸}{步长}+1$）这时候我们只需要填充一侧（非对称填充）填充完后，尺寸大小是129。这里注意一点，我们在实现过程中，用了非对称的填充。这里的上采样方式比较简单，通过插值实现的。上采样即改变特征图大小为原本的2倍。下采样，即改变特征图的尺寸。方式二的话是没有参数的。

我们可以选择直接开到目的地，也可以选择在途中设置几个“中转站”，但是中转站多了有可能会丢失最终目的地的信息，中途有好玩的就被吸引了，所以我们有时候要直接开车前往目的地，避免一些信息的丢失或遗忘。是因为BN在Batch_size比较小的时候，表现很差，而我们在图像生成的实际任务中，由于分辨率比较大，所以Batch_size往往比较小。残差结构应该是非常重要的基础块之一了，你肯定会在各种各样的网络模型结构里看到残差结构，他是非常强大的~不是用的传统的批归一化BN，而是用的组归一化GN。

首先最重要的是网络结构本身复杂，再者代码也不容易看懂，LDM代码是通过包含着大量的动态导入包，Pytorch_lighting框架实现，不是我们所熟悉的pytorch框架，因而会对代码阅读造成更大的困难~AE距离生成图像就差一步，想一想，如果我们编码后的向量服从某一个规律，比如服从正态分布，那么这时候从这个正态分布随机采样一个向量，就可以生成图片了，这时候还可以生成一些多样的原本没有的图片。的了，是量子化的，也就是说，只能是某些特定的离散的小数，比如1.1,1.2,1.3 不存在中间态。

归一化技术可以很好地，缓解梯度消失/爆炸问题，并有助于更快地收敛，也是一种正则化技术防止过拟合实际中会看到好多归一化比如BatchNorm，LayerNorm，GroupNorm，InstanceNorm。

首先Transformer最初被用在NLP的任务上，我们从经典的翻译任务上入手首先介绍翻译任务的背景，翻译任务是从一种语言到另一种语言，本质上是一个序列到一个序列的过程比如“I like apples”到“我喜欢苹果”的过程，是英语到中文那么每一种语言都有一个词表，比如英语（有300万个单词）那么词表大小就是300万，中文有九千多个汉字，那么词表大小就是九千多，从英语到中文的过程，英语是源语言(src)，中文是目标语言(tgt)，反之中文到英文的过程，中文是源语言，英文是目标语言。

Transformer的掩码机制是非常重要的三个位置，两个功能。

Trainer类为什么这样比较好Trainer是一个简单但功能完备的PyTorch训练和评估循环，针对🤗 Transformers进行了优化。

三大模型VAE，GAN， DIffusion扩散模型 是生成界的重要模型，但是最近一段时间扩散模型被用到的越来越多的，最近爆火的OpenAI的Sora文生视频模型其实也是用了这种的方式，因而我打算系统回顾扩散系列知识，并注重代码的分析，感兴趣可以关注这一系列的博客，先介绍基础版本的，之后介绍扩散进阶的相关知识。扩散模型很多的讲解上来会讲解很多的数学，会让人望而却步，但其实扩散在实际使用的时候并不复杂，我会先从代码的角度告诉大家怎么实操，再介绍数学推理。

本节我们主要介绍Transformer的重要的第一部分我会非常注重代码的解析~因为那是我最初学习的痛苦的来源，希望你们不受这些痛苦折磨哈哈哈。

微调大模型方法最全综述各种各样的微调模型在最近两三年很火爆，想要去讲明白这些方法并不容易~但是我还是想尝试一下，尽可能将这些微调模型以一个清晰的架构呈现出来。

batch_first输入数据的形式，默认是 False，就是这样形式，(seq(num_step), batch, input_dim)，也就是将序列长度放在第一位，batch 放在第二位。对于RNN，可以分为单向RNN，和双向RNN，其中单向的是只利用前面的信息，而双向的RNN既可以利用前面的信息，也可以利用后面的信息。第一个苹果和第二个苹果的概念是不一样的，第一个苹果是红彤彤的苹果，第二个苹果是苹果公司的意思。同时只有记忆能力是不够的，处理后的信息得储存起来，形成“新的记忆”

强化学习基础 | 介绍特点、基本要素、组成

Linux下pytorch环境问题

YOLOv3的全解析，涉及主干网络，特征图解码，损失函数等

Transformer优势简析

YOLOv2的改进。

目标检测交并比实现函数　边界框转换

经典网络解析（四） transformer | 自注意力、多头、位置编码、层归一化

变分自编码器等等系列操作

神经网络可视化，梯度上升，可视化工具，风格转移

单目标识别，多目标识别，非极大值抑制，yolo等

语义分割，实例分割，全卷积解析

ResNet残差模块全解析，为什么ResNet如此有效？

GoogleNet网络全解析，Inception块，小卷积核

Vgg块的设计思想，代码实现，小卷积核优点

AlexNet的经典网络解析，每一层内容，代码，可视化

深度学习修炼（三）卷积操作 | 边界填充、跨步、多输入输出通道、汇聚池化

深度学习全连接神经网络，Softmax操作，交叉熵损失函数，优化AdaGrad等方法

神经网络基础笔记，线性分类器以及最初的一些损失函数，优化算法等

了解计算机视觉发展历程，不同年代的人们对于计算机视觉的探索