Kirito_UGO的博客

CycleGAN(Cycle Generative Adversarial Network) 即循环对抗生成网络，实现了一种在没有配对示例的情况下学习将图像从源域 X 转换到目标域 Y 的方法，有效解决了数据集难以获取的问题，扩展性更好，应用范围更广。

Pix2Pix是基于条件生成对抗网络（cGAN, Condition Generative Adversarial Networks ）实现的一种深度学习图像转换模型，可以实现语义/标签到真实图片、灰度图到彩色图、航空图到地图、白天到黑夜、线稿图到实物图的转换。和。生成器（Generator）：在cGAN中，生成器的输入是随机噪声向量（通常用 z 表示）和条件信息 y。生成器试图学习从这些输入到目标数据分布的映射，以生成符合条件 y 的数据样本 G(z∣y)。

扩散模型（Diffusion Models）是一类基于概率的生成模型，通过一系列逐步的随机噪声注入和去噪过程生成数据。模型的基本思想是先定义一个从数据分布到高斯噪声分布的前向过程（扩散过程），然后学习一个反向过程（去噪过程）以将噪声恢复为原始数据。通过这种方式，扩散模型可以生成逼真的图像、音频等数据。其优势在于生成质量高且训练过程稳定，相较于传统生成对抗网络（GAN）更容易训练，同时具有较强的理论可解释性和灵活性。

生成式对抗网络是一种无监督深度学习模型， 由两个神经网络组成：生成器 (Generator) 和判别器 (Discriminator)。这两个网络通过对抗性训练共同工作，使得生成器能够生成逼真的数据。

序列标注指给定输入序列，给序列中每个Token进行标注标签的过程。序列标注问题通常用于从文本中进行信息抽取，包括分词(Word Segmentation)、词性标注(Position Tagging)、命名实体识别(Named Entity Recognition, NER)等。

ViT图像分类流程。

apply_nms 函数：应用非极大值抑制（NMS）的函数，根据得分和重叠阈值对预测框进行筛选，保留最佳的框。SsdInferWithDecoder ：包装了 SSD 模型推断过程的类。检测时需要非极大值抑制：排除概率低且重叠度较大的预测框。随机采样：提高模型针对不同大小、形状图像时的鲁棒性。COCOMetrics ：计算预测框的评估类。的每个样本，通过网络生成预测结果。初始化网络参数函数和动态学习率设置。将每个样本的预测结果传递给。方法获取评估指标并返回。设置网络为推断模式（

*背景：**将已在一个任务上训练好的模型知识应用到一个新的但相关的任务中。如在图像识别中，可以使用在大型数据集（如ImageNet）上预训练的模型，然后将其应用到具体的图像分类任务中。在自然语言处理领域，可以使用在大规模文本数据上预训练的语言模型（如BERT、GPT等），然后将其微调用于具体的文本分类、情感分析等任务。

*背景：**传统的卷积神经网络都是将一系列的卷积层和池化层堆叠得到的，但当网络堆叠到一定深度时，就会出现退化问题，即一味地加深网络并没能减少训练误差和测试误差。**意义：**残差网络结构（Residual Network）：使用ResNet网络可以实现搭建较深的网络结构（突破1000层），并且ResNet网络层数越深，其训练误差和测试误差越小。有了这个结论之后，神经网络开始进入算力才是硬道理的时代。除此之外，残差连接使得梯度可以更快地传递，提升了网络的收敛速度。

语义分割的目的是对图像中每个像素点进行分类。与普通的分类任务只输出某个类别不同，语义分割任务输出与输入大小相同的图像，输出图像的每个像素对应了输入图像每个像素的类别，常被应用于人脸识别、物体检测、医学影像、卫星图像分析、自动驾驶感知等领域。

这种方式大大减少了计算量和参数量，因为它将标准卷积的复杂操作分解为两个较简单的操作。（两头小中间大的结构+逐通道卷积操作）传统的残差结构会先通过卷积层将输入的维度提高，然后再进行计算，而倒残差结构则相反。它先通过1x1卷积扩展通道，然后进行深度卷积，再通过1x1卷积压缩通道。

K近邻算法是机器学习的一个分支。

model.generate：根据输入样本生成输出，do_sample：采取采样模式， max_new_tokens：token最大数目，类似音频的长度。：提取了第一维和第二维的第一个元素（假设音频数据是多维的），根据模型输出是 a Torch tensor of shape。model.config.audio_encoder.sampling_rate：获取模型采样模式下的采样率。scipy.io.wavfile.write：将生成的音频数据保存为音频文件。

1len。

使得开始训练的几个epoches或者一些steps内学习率较小,在预热的小学习率下，模型可以慢慢趋于稳定,等模型相对稳定后再选择预先设置的学习率进行训练,使得模型收敛速度变得更快，模型效果更佳。

定义了一个类型转换操作，将标签转换为整数类型，以符合模型的要求（在dataset.map中被调用）。对数据集中的文本列进行映射操作，将文本转换为模型所需的。：用于将文本转换为模型输入格式的tokenizer对象，例如BERTTokenizer。：最大序列长度，用于控制输入文本的最大长度，超出部分将被截断，不足部分将被填充。：是否在加载数据时对数据进行洗牌（打乱顺序），默认为True。：数据集的来源，可以是文件路径或其他形式的数据源。：批处理大小，指定每个批次包含的样本数量。

之前学tf和pytorch时没听过23333计算图样子：!

这算是初学入门里比较简单的，毕竟做饭难点，但是装菜、吃饭还是比较简单的。

模型训练前的数据集准备、数据转换和定义网络模型已经讲过了，略。

模型预测值（logits）与正确标签（label）送入损失函数（loss function）获得loss，然后进行反向传播计算，求得梯度（gradients），最终更新至模型参数（parameters）下面是大概得计算图：z=wx+b，然后z和y进入损失函数计算loss，这里的w和b为参数，有点像高中的线性回归，但是w是一个矩阵，里面的参数有很多。

虽然在大多数情况下，初学者都是用别人的模型来对自己的数据进行训练和测试，但是还是有必要对模型的搭建有一些初步的了解。首先将模型定义为一个类，并且集成nn库中的相关类__init__方法:定义网络的结构,设置网络的各个层次和模块construct方法,类似于PyTorch中的forward方法:定义网络的前向传播过程,描述了数据在网络中的流动。__init__在实例化网络对象时被调用，用于创建网络的结构和定义各个层次的参数。construct。

库提供了多种数据变换，下面将根据文本、图像两种数据类型介绍常用的数据变换方法。

打卡