m0_37737957的博客

TimestepBlock 和 TimestepEmbedSequential，它们都是用于神经网络模型中的组件，特别是与时间序列数据或需要时间步嵌入（timestep embeddings）的模型相关。这些类通过继承PyTorch的nn.Module类来实现，使其能够作为神经网络中的一层或多层被使用。

一、代码中的AttentionBlock类 二、代码中的QKVAttention 类和QKVAttentionLegacy类

1、梯度检查点理解2、 torch.utils.checkpoint.checkpoint函数

DiAD论文最主要的创新点就是使用SG网络解决多类别异常检测中的语义信息丢失问题，那么它是怎么实现的保留原始图像语义信息的同时重建异常区域？SG网络被设计为与稳定扩散（Stable Diffusion, SD）去噪网络相连接。SD去噪网络本身具有强大的图像生成能力，但可能无法在多类异常检测任务中保持图像的语义信息一致性。SG网络通过引入语义引导机制，使得在重构异常区域时能够参考并保留原始图像的语义上下文。整个框架图中，SG网络与去噪网络的连接如下图所示。

语义引导网络（SG网络）：提出了SG网络，用于在保留原始图像语义信息的同时重建异常区域。该网络通过引入语义引导机制，解决了现有扩散模型（如LDM）在多类别异常检测中的语义信息丢失问题。空间感知特征融合块（SFF块）：引入了SFF块，以在处理大量重建区域时最大限度地提高重建精度。SFF块通过整合不同尺度的特征，实现了对原始正常样本信息的保留和大规模异常区域的重建。多尺度特征提取与异常评分：使用预训练的特征提取器对输入图像和重建图像进行处理，根据不同尺度提取的特征生成异常图。通过计算重建图像和输入图像

ModelCheckpoint:ImageLogger:Trainer:

目录一、训练器初始化函数 pytorch_lightning.Trainer二、训练器调用函数 trainer.fit

1、ModelCheckpoint类简单介绍2、使用ModelCheckpoint类实现模型保存的示例

1、cond_fn()函数代码2、softmax与log_softmax函数

1、create_named_schedule_sampler2、ScheduleSampler3、UniformSampler4、LossAwareSampler5、LossSecondMomentResampler

一、python中变量前面有个*二、numpy.prod三、numpy.savez四、 arr[..., ::-1]五、 yield六、 string.join() 七、 numpy.random.choice()

1、torch.distributed.get_world_size()2、torch.distributed.all_gather()3、torch.distributed.barrier()4、torch.distributed.get_rank()

1、解析命令行参数2、分布式设置和日志配置3、创建模型和扩散过程4、加载数据5、训练循环6、训练过程中的关键点7、日志和模型保存

1、循环生成样本2、设置模型参数3、选择采样函数4、生成图像样本5、收集分布式环境中的样本6、记录日志7、保存样本8、分布式同步

当你调用一个包含 yield 的函数时，该函数不会立即执行其代码，而是返回一个迭代器（即生成器）。每次迭代时，yield 语句会“暂停”函数的执行，并返回紧随其后的值给迭代器的调用者。.detach（） 函数可以返回一个完全相同的tensor,新的tensor开辟与旧的tensor共享内存，新的tensor会脱离计算图，不会牵扯梯度计算。也就是requires_grad=False, 因此可以 接着进行numpy() 的操作，解决了numpy()需要建立在无梯度的tensor的基础上的问题。

UNET模型主要由三部分组成，包括编码器（下采样），瓶颈部分（中间部分），解码器（上采样）

time embedding本质上就是把时间步t转换为指定维度的嵌入向量，这个向量由时间步，向量维度，周期等参数决定，可以简单理解为根据时间步t在正弦余弦函数采样得到的向量。

一、注意力中的QKV二、注意力中的位置嵌入三、注意力中的多头四、注意力和自注意力五、注意力中的encode和decoder

一、为什么UNET模型可以用于去噪网络二、扩散模型中的UNET是一个条件去噪网络，怎么实现的三、UNET用于分割和用去去噪的区别

一、 torch.bmm二、 torch.einsum三、torch.chunk四、torch.contiguous五、torch.clamp六、torchvision.utils.make_grid

一、 TimestepEmbedSequential二、PyTorch之Checkpoint机制三、AttentionBlock四、use_scale_shift_norm

使用了残差连接的两个卷积模块，在第一个卷积之后，增加了时间条件和类条件。

一、diffusion创建二、GaussianDiffusion定义三、代码理解def __init__(self,model,img_size,img_channels,num_classes,betas, loss_type="l2", ema_decay=0.9999, ema_start=5000, ema_update_rate=1,):def remove_noise(self, x, t, y, use_ema=True):def sample(self, batch_size, d

在神经网络搭建时，通常在卷积或者RNN后都会添加一层标准化层以及激活层。常用标准化层包括batchNorm，LayerNorm，InstanceNorm，GroupNorm。

常用基础pytorch知识

PositionalEmbedding