wwt72的博客

MusicGen 来自 Meta AI 的 Jade Copet 等人提出的基于单个语言模型（LM）的音乐生成模型，能够根据文本描述或音频提示生成高质量的音乐样本，相关研究成果参考论文。用户输入的文本描述作为输入传递给一个固定的文本编码器模型谷歌的t5-base及其权重，以获得一系列隐形状态表示。训练MusicGen 解码器语言模型架构来预测离散的隐形状态音频token。对这些音频token使用音频压缩模型（ 用及其权重）进行解码，以恢复音频波形。

Diffusion 模型从纯噪声开始通过一个神经网络学习逐步去噪，最终得到一个实际图像。Diffusion 模型通过下面两个过程处理图像：一个选取的固定（或预定义）正向扩散过程 𝑞：它逐渐将高斯噪声添加到图像中，直到最终得到纯噪声。一个学习的反向去噪的扩散过程：通过训练神经网络从纯噪声开始逐渐对图像去噪，直到最终得到一个实际的图像。如下图，从左到右（0-->T 的时间步长）是反向扩散的生成过程，从右到左（T-->0 的时间步长）是噪声化的正向扩散过程。

Transformer 模型促进了NLP领域的发展。ViT（Vision Transformer）则是自然语言处理和计算机视觉两个领域的融合结晶。在不依赖卷积操作的情况下，依然可以在图像分类任务上达到很好的效果。

如果配置 eval_indexes ，必须包含三个元素，分别为损失值、预测值和标签在 eval_network 输出中的位置，此时，损失值将传给损失评价函数，预测值和标签将传给其他评价函数。若预测字体为蓝色即为预测正确，若预测字体为红色则预测错误，如图，可以看到准确率还是非常高的。实际应用场景中，因为训练数据集不足，普遍的网络训练策略是，在一个非常大的基础数据集上训练得到一个预训练模型，然后用该模型来初始化网络的权重参数或作为固定特征提取器，从而应用于特定的任务中。(Cell) - 用于评估的神经网络。

ShuffleNetV1是旷视科技提出的一种计算高效的CNN模型，和MobileNet, SqueezeNet等一样主要应用在移动端，所以模型的设计目标就是利用有限的计算资源来达到最好的模型精度。ShuffleNetV1的设计核心是引入了两种操作：和，这在保持精度的同时大大降低了模型的计算量。因此，ShuffleNetV1和MobileNet类似，都是通过设计更高效的网络结构来实现模型的压缩和加速。ShuffleNet在保持不低的准确率的前提下，将参数量几乎降低到了最小，因此其运算速度较快。

传统的 CNN 是将一系列的卷积层和池化层堆叠，但当网络堆叠到一定深度时，就会出现退化问题，即 网络层数的加深并不能改善网络的训练/测试误差。ResNet网络提出了残差网络结构 (Residual Network) 来减轻退化问题，使用ResNet网络可以实现搭建较深的网络结构（突破1000层）。研究表明ResNet网络层数越深，其训练误差和测试误差越小 (见ResNet 论文。

输入是标准正态分布中提取出的隐向量𝑧，输出是3x64x64的RGB图像。输入是3x64x64的图像，输出是该图像为真图像的概率。由于数据是图像，这一过程也会创建与真实图像大小相同的 RGB 图像。目的：用动漫头像数据集来训练一个生成式对抗网络，使用该网络生成动漫头像图片。在这两个部分中，分别获取训练过程中的损失，并在每个周期结束时进行统计，将。随着训练次数的增多，图像质量也越来越好。达到50以上时，生成的动漫头像图片与数据集中的较为相似。与通过生成器传播的特征图的大小有关，是输出图像中的通道数。

本案例实现中所搭建的 GAN 模型结构与原论文中提出的 GAN 结构大致相同，但由于所用数据集 MNIST 为单通道小尺寸图片，可识别参数少，便于训练，本案例在判别器和生成器中采用全连接网络架构和。x 表示图像数据，D(x) 表示判别器判别图像为真实图像的概率，当x来自训练数据时，D(x)的数值接近1；当 x 来自生成器时，D(x)的数值接近0。如下图，蓝色虚线表示判别器D，黑色虚线表示真实数据分布，绿色实线表示生成器G生成的虚假数据分布，𝑧 表示隐码，𝑥 表示生成的虚假图像 𝐺(𝑧)。

> wte 嵌入层：dim[in, out]=[21128, 768] ，即使用了 21128 个词汇，每个词汇映射到一个768 维的向量。层，自注意力机制，用于计算输入序列中不同位置的注意力权重。，多层感知机，用于对自注意力层的输出进行进一步的非线性变换。此次活动的 notebook 只可以连续运行8小时，此次目的也不是性能优化，故此，我将训练数据减少到了1/10，此时的部分输出如下。>> layers h 隐网络结构层：Transformer模型的主体，包含 12 个 GPT2Block。

但是可以看到model的打印结果，看到chatglm2 和 chatglm3 的模型结构相比1版本，词表扩充了2w+。：dim[in, out]=[130528, 4096] ，即使用了 130528 个词汇，每个词汇映射到一个4096维的向量。，多层感知机，用于对自注意力层的输出进行进一步的非线性变换。如下图，chatglm2-6b model 的打印结果。加载智谱清言的chatglm模型权重文件（目前有4个版本），本次主要尝试了chatglm-6b。，是transformer 结构，是模型的核心部分。

并在训练过程中保存Checkpoint。

限制输出序列的最大长度为50个token。top-p=0.95，top-p采样表示在每一步生成token时，只从概率分布中累计概率达到95%的token中进行采样，有助于保持生成文本的流畅性和质量，同时允许一些低概率的token被选中，从而增加多样性。表示禁用了top-k采样，因为在top-k采样中，通常是从概率最高的k个token中随机选择一个token作为下一个输出，而这里设置为0表示不限制token的选择，实际上这将等同于使用 softmax 概率分布直接进行采样。这有助于提高生成文本的多样性。

1、数据集准备：IMDB数据集，从 https://mindspore-website.obs.myhuaweicloud.com/notebook/datasets/aclImdb_v1.tar.gz 下载数据集并按照7:3切分为训练和验证集。5、开始训练：创建训练器 （mindnlp._legacy.engine.Trainer）并训练，该训练器可以接收模型、训练数据集、评估数据集、评估指标、训练轮数、优化器、回调函数列表以及是否启用JIT编译的选项。评估器使用了之前定义的预训练模型和评估指标。

predict("家人们咱就是说一整个无语住了 绝绝子叠buff")predict("起开 我要开始发功了")

首先根据公式(3)，计算正确标签序列所对应的得分，需要注意，除了转移概率矩阵 P 外，还需要维护两个大小为 |𝑇| 的向量，分别作为序列开始和结束时的转移概率。从第0个至第i 个Token对应概率最大的序列，只需要考虑从第0个至第(i-1) 个Token对应概率最大的序列，以及从第i 个至第 (i-1) 个概率最大的标签即可。因此我们逆序求解每一个概率最大的标签，构成最佳的预测序列。考虑到输入序列可能存在 Padding 的情况，CRF的输入需要考虑输入序列的真实长度，因此除发射矩阵和标签外，加入。

输入一句评价，获得评价的情感分类.

在Graph模式下，python编译器不执行python代码，而将Python代码代码编译成静态计算图，然后执行静态计算图。在静态图模式下，MindSpore通过源码转换的方式，将Python的源码转换成中间表达IR（Intermediate Representation），并在此基础上对IR图进行优化，最终在硬件设备上执行优化后的图。MindSpore提供了两种切换为图模式的方式，分别是基于装饰器的开启方式以及基于全局context的开启方式。，通过图优化等技术提高运行速度。在图模式下，可以通过使用。

来获取输入shape。

SGD优化器训练结果如下：同参数设置下，Adam优化器训练结果如下：同参数设置下，RMSProp 优化器训练结果如下： 同参数设置下，AdamWeightDecay 优化器训练结果如下：一般分为四个步骤 ：超参（Hyperparameters）是可以调整的参数，可以控制模型训练优化的过程，不同的超参数值可能会影响模型训练和收敛速度。目前深度学习模型多采用批量随机梯度下降算法进行优化，随机梯度下降算法的原理如下： 其中，公式中，𝑛 是批量大小（batch size），η 是学习率（learning rate

通常将函数的loss设置为函数的第一个输出，其他的输出即为辅助数据。如下代码中，mindspore.grad 的求导索引为 (2, 3)，表示 function1 函数的参数 w 和 b。损失函数（代价函数）是用来衡量模型预测值与真实值之间差异的函数，不同的损失函数适用于不同类型的问题。，通过调用 mindspore.grad 函数，生成求导函数，用于计算给定函数的梯度或微分函数。> 使用 grad 获得微分函数是一种函数变换，即输入为函数，输出也为函数。为了优化模型参数，需要求参数对loss的导数，即。