挂在树梢的松鼠-CSDN博客

原创昇思25天学习打卡营第25天|基于 MindSpore 实现 BERT 对话情绪识别

与Masked Language Model任务相比，Next Sentence Prediction更简单些，训练的输入是句子A和B，B有一半的几率是A的下一句，输入这两个句子，BERT模型预测B是不是A的下一句。对话情绪识别（Emotion Detection，简称EmoTect），专注于识别智能对话场景中用户的情绪，针对智能对话场景中的用户文本，自动判断该文本的情绪类别并给出相应的置信度，情绪类型分为积极、消极、中性。2表示积极），第二列是以空格分词的中文文本，如下示例，文件为 utf8 编码。

2024-07-18 23:45:44 992

原创昇思25天学习打卡营第24天|基于MindSpore通过GPT实现情感分类

jieba是一个优秀的中文分词第三方库，主要用于Python编程语言中。它能够帮助用户将中文文本切割成单个的词语，这对于自然语言处理和文本分析尤为重要。jieba库提供了多种分词模式，使得用户可以根据不同的需求选择合适的分词方式。此外，jieba库还支持词频统计、词云图生成以及构建对象等功能，是处理中文文本的一个强大工具。导入 mindspore 、mindnlp等框架和库。安装mindnlp和jieba。运行后输出：25000。

2024-07-17 23:58:06 525

原创昇思25天学习打卡营第23天|基于MindSpore的GPT2文本摘要

这节课主要学习基于MindSpore的GPT2文本摘要。主要包括环境安装、数据集加载与处理、模型构建、模型训练、模型推理五部分内容。3.1构建GPT2ForSummarization模型，注意shift right的操作。实验使用的是nlpcc2017摘要数据，内容为新闻正文及其摘要，总计50000个样本。因GPT2无中文的tokenizer，我们使用BertTokenizer替代。trainer.set_amp(level=‘O1’) # 开启混合精度。数据处理，将向量数据变为中文数据。

2024-07-16 23:29:07 467

原创昇思25天学习打卡营第22天|MindNLP ChatGLM-6B StreamChat

这节课程是介绍“基于MindNLP和ChatGLM-6B实现一个聊天应用”最后两项在运行后产生报错，报错的原因未知。可以修改下列参数和prompt体验模型。课程包括环境配置和代码开发两部分内容。下载权重大约需要10分钟。

2024-07-15 22:03:19 587

原创昇思25天学习打卡营第21天|RNN实现情感分类

预训练词向量是对输入单词的数值化表示，通过nn.Embedding层，采用查表的方式，输入单词对应词表中的index，获得对应的表达向量。这里我们设置训练轮数为5轮。同时维护一个用于保存最优模型的变量best_valid_loss，根据每一轮评估的loss值，取loss值最小的轮次，将模型进行保存。这里nn.LSTM隐藏了整个循环神经网络在序列时间步(Time step)上的循环，送入输入序列、初始状态，即可获得每个时间步的隐状态(hidden state)拼接而成的矩阵，以及最后一个时间步对应的隐状态。

2024-07-15 04:20:50 1422

原创昇思25天学习打卡营第20天|K近邻算法实现红酒聚类

它正是基于以上思想：要确定一个样本的类别，可以计算它与所有训练样本的距离，然后找出和该样本最接近的k个样本，统计出这些样本的类别并进行投票，票数最多的那个类就是分类的结果。在具体实现时，可以考虑样本的权重，即每个样本有不同的投票权重，这种方法称为带权重的k近邻算法，它是一种变种的k近邻算法。需要特别注意的是，使用欧氏距离时，应将特征向量的每个分量归一化，以减少因为特征值的尺度范围不同所带来的干扰，否则数值小的特征分量会被数值大的特征分量淹没。1.K值，一个样本的分类是由K个邻居的“多数表决”确定的。

2024-07-13 22:58:08 1373

原创昇思25天学习打卡营第19天|GAN图像生成

本案例实现中所搭建的 GAN 模型结构与原论文中提出的 GAN 结构大致相同，但由于所用数据集 MNIST 为单通道小尺寸图片，可识别参数少，便于训练，我们在判别器和生成器中采用全连接网络架构和 ReLU 激活函数即可达到令人满意的效果，且省略了原论文中用于减少参数的 Dropout 策略和可学习激活函数 Maxout。为了跟踪生成器的学习进度，我们在训练的过程中的每轮迭代结束后，将一组固定的遵循高斯分布的隐码test_noise输入到生成器中，通过固定隐码所生成的图像效果来评估生成器的好坏。

2024-07-12 23:43:38 1082

原创昇思25天学习打卡营第18天|Vision Transformer图像分类

这节课主要是介绍Vision Transformer（ViT），ViT则是自然语言处理和计算机视觉两个领域的融合结晶。在不依赖卷积操作的情况下，依然可以在图像分类任务上达到很好的效果。主要包括环境准备与数据读取、模型解析、模型训练与推理三部分首先学习了模型结构：ViT模型的主体结构是基于Transformer模型的Encoder部分（部分结构顺序有调整，如：Normalization的位置与标准Transformer不同），其结构图[1]如下：模型特点ViT模型主要应用于图像分类领域。因此，其模型结

2024-07-12 00:12:56 1233

原创昇思25天学习打卡营第17天|基于MobileNetv2的垃圾分类

MobileNet网络是由Google团队于2017年提出的专注于移动端、嵌入式或IoT设备的轻量级CNN网络，相比于传统的卷积神经网络，MobileNet网络使用深度可分离卷积（Depthwise Separable Convolution）的思想在准确率小幅度降低的前提下，大大减小了模型参数与运算量。图中Inverted residual block结构是先使用1x1卷积进行升维，然后使用3x3的DepthWise卷积，最后使用1x1的卷积进行降维，与Residual block结构相反。

2024-07-10 23:53:43 1236

原创昇思25天学习打卡营第16天|LSTM+CRF序列标注

考虑到输入序列可能存在Padding的情况，CRF的输入需要考虑输入序列的真实长度，因此除发射矩阵和标签外，加入seq_length参数传入序列Padding前的长度，并实现生成mask矩阵的sequence_mask方法。从第0个至第 𝑖 个Token对应概率最大的序列，只需要考虑从第0个至第 𝑖−1 个Token对应概率最大的序列，以及从第 𝑖 个至第 𝑖−1 个概率最大的标签即可。,𝑦𝑛}，𝑦∈𝑌 为输出的标注序列，其中 𝑛 为序列的最大长度， 𝑌 表示 𝑥 对应的所有可能的输出序列集合。

2024-07-09 23:17:13 816

原创昇思25天学习打卡营第15天|基于MindNLP+MusicGen生成自己的个性化音乐

与传统方法不同，MusicGen采用单个stage的Transformer LM结合高效的token交织模式，取消了多层级的多个模型结构，例如分层或上采样，这使得MusicGen能够生成单声道和立体声的高质量音乐样本，同时提供更好的生成输出控制。请注意，传递给 generate 方法的任何参数都将取代生成配置中的参数，因此在调用 generate 中设置 do_sample=False 将取代生成配置中model.generation_config.do_sample 的设置。

2024-07-08 23:43:33 652

原创昇思25天学习打卡营第14天|SSD目标检测

如上图所示，训练过程中的 prior boxes 和 ground truth boxes 的匹配，基本思路是：让每一个 prior box 回归并且到 ground truth box，这个过程的调控我们需要损失层的帮助，他会计算真实值和预测值之间的误差，从而指导学习的走向。SSD的网络结构如图所示。n，通道为p的预测特征图，假设其每个像素点会产生k个anchor，每个anchor会对应c个类别和4个回归偏移量，使用(4+c)k个尺寸为3x3，通道为p的卷积核对该预测特征图进行卷积操作，得到尺寸为m。

2024-07-07 17:22:15 1026

原创昇思25天学习打卡营第13天|ShuffleNet图像分类

ShuffleNet网络结构如下图所示，以输入图像 224×224 ，组数3（g = 3）为例，首先通过数量24，卷积核大小为 3×3 ，stride为2的卷积层，输出特征图大小为 112×112 ，channel为24；Group Convolution的弊端在于不同组别的通道无法进行信息交流，堆积GConv层后一个问题是不同组之间的特征图是不通信的，这就好像分成了g个互不相干的道路，每一个人各走各的，这可能会降低网络的特征提取能力。，这在保持精度的同时大大降低了模型的计算量。

2024-07-06 23:25:41 1062

原创昇思25天学习打卡营第12天|ResNet50图像分类

ResNet网络层结构如下图所示，以输入彩色图像 224×224 为例，首先通过数量64，卷积核大小为 7×7 ，stride为2的卷积层conv1，该层输出图片大小为 112×112 ，输出channel为64；对于每个残差网络块，以ResNet50网络中的conv2_x为例，其由3个Bottleneck结构堆叠而成，每个Bottleneck输入的channel为64，输出channel为256。本节展示了5个epochs的训练过程，如果想要达到理想的训练效果，建议训练80个epochs。

2024-07-05 23:33:13 1175

原创昇思25天学习打卡营第11天|ResNet50迁移学习

数据集可视化：从mindspore.dataset.ImageFolderDataset接口中加载的训练数据集返回值为字典，用户可通过 create_dict_iterator 接口创建数据迭代器，使用 next 迭代访问数据集。教程采用了狗与狼分类数据集做了案例介绍。训练和评估：开始训练模型，与没有预训练模型相比，将节约一大半时间，因为此时可以不用计算部分梯度。普遍的做法是，在一个非常大的基础数据集上训练得到一个预训练模型，然后使用该模型来初始化网络的权重参数或作为固定特征提取器应用于特定的任务中。

2024-07-04 20:54:05 351

原创昇思25天学习打卡营第10天|计算机视觉之FCN图像语义分割

全卷积网络（Fully Convolutional Networks，FCN）是UC Berkeley的Jonathan Long等人于2015年在Fully Convolutional Networks for Semantic Segmentation[1]一文中提出的用于图像语义分割的一种框架。主要内容包括：语义分割、数据处理、网络构建、训练准备、模型训练、模型评估、模型推理七个步骤，总体来看，应该就是之前初级入门教程在实践应用的方法。模型采用了全卷积网络，包括卷积化、上采样、跳跃结构三种技术。

2024-07-03 23:08:08 334

原创昇思25天学习打卡营第9天|使用静态图加速

动态图的特点是计算图的构建和计算同时发生（Define by run），其符合Python的解释执行方式，在计算图中定义一个Tensor时，其值就已经被计算且确定，因此在调试模型时较为方便，能够实时得到中间结果的值，但由于所有节点都需要被保存，导致难以对整个计算图进行优化。在MindSpore中，静态图模式又被称为Graph模式，在Graph模式下，基于图优化、计算图整图下沉等技术，编译器可以针对图进行全局的优化，获得较好的性能，因此比较适合网络固定且需要高性能的场景。

2024-07-02 22:51:12 776

原创昇思25天学习打卡营第8天|保存与加载

除Checkpoint外，MindSpore提供了云侧（训练）和端侧（推理）统一的中间表示（Intermediate Representation，IR）。中间表示（IR）是程序编译过程中介于源语言和目标语言之间的程序表示，以方便编译器进行程序分析和优化，因此IR的设计需要考虑从源语言到目标语言的转换难度，同时考虑程序分析和优化的易用性和性能。要加载模型权重，需要先创建相同模型的实例，然后使用load_checkpoint和load_param_into_net方法加载参数。1.保存和加载模型权重。

2024-07-01 23:20:15 483

原创昇思25天学习打卡营第7天|模型训练

模型训练一般分为四个步骤：1.构建数据集。2.定义神经网络模型。3.定义超参、损失函数及优化器。4.输入数据集进行训练与评估。

2024-06-30 21:28:29 860

原创昇思25天学习打卡营第6天|函数式自动微分

神经网络的训练主要使用反向传播算法，模型预测值（logits）与正确标签（label）送入损失函数（loss function）获得loss，然后进行反向传播计算，求得梯度（gradients），最终更新至模型参数（parameters）。grad和value_and_grad提供has_aux参数，当其设置为True时，可以自动实现前文手动添加stop_gradient的功能，满足返回辅助数据的同时不影响梯度计算的效果。通常我们会将函数的loss设置为函数的第一个输出，其他的输出即为辅助数据。

2024-06-30 00:55:54 749

原创昇思25天学习打卡营第5天|网络构建

神经网络模型是由神经网络层和Tensor操作构成的，mindspore.nn提供了常见神经网络层的实现，在MindSpore中，Cell类是构建所有网络的基类，也是网络的基本单元。当我们定义神经网络时，可以继承nn.Cell类，在__init__方法中进行子Cell的实例化和状态管理，在construct方法中实现Tensor操作。我们构造一个输入数据，直接调用模型，可以获得一个十维的Tensor输出，其包含每个类别的原始预测值。层给网络中加入非线性的激活函数，帮助神经网络学习各种复杂的特征。

2024-06-28 23:02:25 529

原创昇思25天学习打卡营第4天|数据变换 Transforms

数据变换Transforms的原因，直接加载的原始数据并不能直接送入神经网络进行训练，此时需要对其进行数据预处理。（我认为，这应该就是个工具，不需要了解太多，只需要根据步骤，学习使用这个工具即可，前一章节的数据集Dataset也一样）。数据变换包括四部分，Common Transforms（通用数据变换）、Vision Transforms（图像数据变换）、Text Transforms（文本数据变换）、Lambda Transforms三种数据类型的Transforms，还有一种是匿名函数数据变换。

2024-06-28 00:56:17 272

gpsicp的博客