- 博客(25)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 昇思25天学习打卡营第25天|基于 MindSpore 实现 BERT 对话情绪识别
BERT全称是来自变换器的双向编码器表征量（Bidirectional Encoder Representations from Transformers），它是Google于2018年末开发并发布的一种新型语言模型。与BERT模型相似的预训练语言模型例如问答、命名实体识别、自然语言推理、文本分类等在许多自然语言处理任务中发挥着重要作用。模型是基于Transformer中的Encoder并加上双向的结构，因此一定要熟练掌握Transformer的Encoder的结构。
2024-07-25 16:33:43
817
原创 昇思25天学习打卡营第24天|RNN实现情感分类
情感分类是自然语言处理中的经典任务，是典型的分类问题。输入: This film is terrible正确标签: Negative预测标签: Negative输入: This film is great正确标签: Positive预测标签: Positive最后我们设计一个预测函数，实现开头描述的效果，输入一句评价，获得评价的情感分类。将输入句子进行分词；使用词表获取对应的index id序列；index id序列转为Tensor；送入模型获得预测结果；打印输出预测结果。
2024-07-24 01:18:30
1049
原创 昇思25天学习打卡营第23天|LSTM+CRF序列标注
序列标注指给定输入序列，给序列中每个Token进行标注标签的过程。序列标注问题通常用于从文本中进行信息抽取，包括分词(Word Segmentation)、词性标注(Position Tagging)、命名实体识别(Named Entity Recognition, NER)等。输入序列清华大学座落于首都北京输出标注BIIIOOOOOBI如上表所示，清华大学和北京是地名，需要将其识别，我们对每个输入的单词预测其标签，最后根据标签来识别实体。
2024-07-23 02:04:55
721
原创 昇思25天学习打卡营第22天|Pix2Pix实现图像转换
Pix2Pix是基于条件生成对抗网络（cGAN, Condition Generative Adversarial Networks ）实现的一种深度学习图像转换模型，该模型是由Phillip Isola等作者在2017年CVPR上提出的，可以实现语义/标签到真实图片、灰度图到彩色图、航空图到地图、白天到黑夜、线稿图到实物图的转换。生成器和判别器。传统上，尽管此类任务的目标都是相同的从像素预测像素，但每项都是用单独的专用机器来处理的。
2024-07-21 16:30:50
1118
原创 昇思25天学习打卡营第21天|GAN图像生成
生成式对抗网络(Generative Adversarial Networks，GAN)是一种生成式机器学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。最初，GAN由Ian J. Goodfellow于2014年发明，并在论文生成器的任务是生成看起来像训练图像的“假”图像；判别器需要判断从生成器输出的图像是真实的训练图像还是虚假的图像。GAN通过设计生成模型和判别模型这两个模块，使其互相博弈学习产生了相当好的输出。GAN模型的核心在于提出了通过对抗过程来估计生成模型这一全新框架。
2024-07-21 00:01:15
909
原创 昇思25天学习打卡营第20天|Diffusion扩散模型
如果将Diffusion与其他生成模型（如Normalizing Flows、GAN或VAE）进行比较，它并没有那么复杂，它们都将噪声从一些简单分布转换为数据样本，Diffusion也是从纯噪声开始通过一个神经网络学习逐步去噪，最终得到一个实际图像。Diffusion对于图像的处理包括以下两个过程：选择的固定（或预定义）正向扩散过程 𝑞𝑞 ：它逐渐将高斯噪声添加到图像中，直到最终得到纯噪声一个学习的反向去噪的扩散过程 𝑝𝜃𝑝𝜃 ：通过训练神经网络从纯噪声开始逐渐对图像去噪，直到最终得到一个实际的图像。
2024-07-18 23:30:35
705
原创 昇思25天学习打卡营第19天|DCGAN生成漫画头像
输入是3x64x64的图像，输出是该图像为真图像的概率。按照Goodfellow的方法，是希望通过提高其随机梯度来更新判别器，所以我们要最大化𝑙𝑜𝑔𝐷(𝑥)+𝑙𝑜𝑔(1−𝐷(𝐺(𝑧))𝑙𝑜𝑔𝐷(𝑥)+𝑙𝑜𝑔(1−𝐷(𝐺(𝑧))的值。如DCGAN论文所述，我们希望通过最小化𝑙𝑜𝑔(1−𝐷(𝐺(𝑧)))𝑙𝑜𝑔(1−𝐷(𝐺(𝑧)))来训练生成器，以产生更好的虚假图像。循环训练网络，每经过50次迭代，就收集生成器和判别器的损失，以便于后面绘制训练过程中损失函数的图像。与通过生成器传播的特征图的大小有关，
2024-07-17 21:51:39
943
原创 昇思25天学习打卡营第18天|CycleGAN图像风格迁移互换
CycleGAN(Cycle Generative Adversarial Network) 即循环对抗生成网络，来自论文。该模型实现了一种在没有配对示例的情况下学习将图像从源域 X 转换到目标域 Y 的方法。该模型一个重要应用领域是域迁移(Domain Adaptation)，可以通俗地理解为图像风格迁移。
2024-07-16 16:02:46
963
原创 昇思25天学习打卡营第17天|基于MobileNetv2的垃圾分类
MobileNet网络是由Google团队于2017年提出的专注于移动端、嵌入式或IoT设备的轻量级CNN网络，相比于传统的卷积神经网络，MobileNet网络使用深度可分离卷积（Depthwise Separable Convolution）的思想在准确率小幅度降低的前提下，大大减小了模型参数与运算量。并引入宽度系数 α和分辨率系数 β使模型满足不同应用场景的需求。
2024-07-15 22:01:48
626
原创 昇思25天学习打卡营第16天|基于MindSpore的红酒分类实验
K近邻算法（K-Nearest-Neighbor, KNN）是一种用于分类和回归的非参数统计方法，最初由 Cover和Hart于1968年提出(Cover等人,1967)，是机器学习最基础的算法之一。它正是基于以上思想：要确定一个样本的类别，可以计算它与所有训练样本的距离，然后找出和该样本最接近的k个样本，统计出这些样本的类别并进行投票，票数最多的那个类就是分类的结果。KNN的三个基本要素：K值，一个样本的分类是由K个邻居的“多数表决”确定的。K值越小，容易受噪声影响，反之，会使类别之间的界限变得模糊。
2024-07-14 23:20:54
1056
原创 昇思25天学习打卡营第15天|基于MindNLP+MusicGen生成自己的个性化音乐
MusicGen是来自Meta AI的Jade Copet等人提出的基于单个语言模型（LM）的音乐生成模型，能够根据文本描述或音频提示生成高质量的音乐样本，相关研究成果参考论文《MusicGen直接使用谷歌的及其权重作为文本编码器模型，并使用及其权重作为音频压缩模型。MusicGen解码器是一个语言模型架构，针对音乐生成任务从零开始进行训练。MusicGen 模型的新颖之处在于音频代码的预测方式。
2024-07-14 01:46:00
689
原创 昇思25天学习打卡营第14天|Vision Transformer图像分类
近些年，随着基于自注意（Self-Attention）结构的模型的发展，特别是Transformer模型的提出，极大地促进了自然语言处理模型的发展。由于Transformers的计算效率和可扩展性，它已经能够训练具有超过100B参数的空前规模的模型。ViT则是自然语言处理和计算机视觉两个领域的融合结晶。在不依赖卷积操作的情况下，依然可以在图像分类任务上达到很好的效果。
2024-07-12 23:47:10
853
原创 昇思25天学习打卡营第13天|SSD目标检测
SSD，全称Single Shot MultiBox Detector，是Wei Liu在ECCV 2016上提出的一种目标检测算法。使用Nvidia Titan X在VOC 2007测试集上，SSD对于输入尺寸300x300的网络，达到74.3%mAP(mean Average Precision)以及59FPS；对于512x512的网络，达到了76.9%mAP ，超越当时最强的Faster RCNN(73.2%mAP)。具体可参考论文[1]。
2024-07-11 21:37:12
858
原创 昇思25天学习打卡营第12天|ShuffleNet图像分类
ShuffleNetV1是旷视科技提出的一种计算高效的CNN模型，和MobileNet, SqueezeNet等一样主要应用在移动端，所以模型的设计目标就是利用有限的计算资源来达到最好的模型精度。ShuffleNetV1的设计核心是引入了两种操作：Pointwise Group Convolution和Channel Shuffle，这在保持精度的同时大大降低了模型的计算量。因此，ShuffleNetV1和MobileNet类似，都是通过设计更高效的网络结构来实现模型的压缩和加速。
2024-07-10 12:18:18
836
原创 昇思25天学习打卡营第11天|ResNet50图像分类
简单来说，ResNet网络解决了传统卷积神经网络，在网络堆叠到一定深度时出现的退化现象。下图是在CIFAR-10数据集上使用56层网络与20层网络训练误差和测试误差图，由图中数据可以看出，56层网络比20层网络训练误差和测试误差更大，随着网络的加深，其误差并没有如预想的一样减小。ResNet网络提出了残差网络结构(Residual Network)来减轻退化问题，使用ResNet网络可以实现搭建较深的网络结构（突破1000层）。
2024-07-09 23:18:18
1114
原创 昇思25天学习打卡营第10天|ResNet50迁移学习
在实际应用场景中，由于训练数据集不足，所以很少有人会从头开始训练整个网络。普遍的做法是，在一个非常大的基础数据集上训练得到一个预训练模型，然后使用该模型来初始化网络的权重参数或作为固定特征提取器应用于特定的任务中。开始训练模型，与没有预训练模型相比，将节约一大半时间，因为此时可以不用计算部分梯度。下载案例所用到的狼与狗分类数据集，数据集中的图像来自于ImageNet，每个分类有大约120张训练图像与30张验证图像。使用固定特征进行训练的时候，需要冻结除最后一层之外的所有网络层。接口创建数据迭代器，使用。
2024-07-08 21:54:51
449
原创 昇思25天学习打卡营第9天|FCN图像语义分割
将底层（stride 32）的预测（FCN-32s）进行2倍的上采样得到原尺寸的图像，并与从pool4层（stride 16）进行的预测融合起来（相加），这一部分的网络被称为FCN-16s。在卷积过程的卷积操作和池化操作会使得特征图的尺寸变小，为得到原图的大小的稠密图像预测，需要对得到的特征图进行上采样操作。因为FCN网络在训练的过程中需要大量的训练数据和训练轮数，这里只提供了小数据单个epoch的训练来演示loss收敛的过程，下文中使用已训练好的权重文件进行模型评估和推理效果的展示。
2024-07-06 21:20:18
842
原创 昇思25天学习打卡营第8天|使用静态图加速
该模式类似Python的解释执行方式，一边编译一遍执行。在计算图中定义一个Tensor时，其值就已经被计算且确定，因此在调试模型时较为方便，能够实时得到中间结果的值，但由于所有节点都需要被保存，导致难以对整个计算图进行优化。该模式属于编译模式，将计算图的构建和实际计算分开，先将网络模型进行编译，然后再执行。在MindSpore中，静态图模式又被称为Graph模式，在Graph模式下，基于图优化、计算图整图下沉等技术，编译器可以针对图进行全局的优化，获得较好的性能，因此比较适合网络固定且需要高性能的场景。
2024-07-04 22:19:59
612
原创 昇思25天学习打卡营第7天|模型训练、模型保存与加载
接口直接将模型保存为MindIR，同时保存了Checkpoint和模型结构，因此需要定义输入Tensor来获取输入shape。同样，保存与加载在第一章中也介绍过，熟悉下新的写法。
2024-07-02 21:00:39
258
原创 昇思25天学习打卡营第6天|函数式自动微分
神经网络的训练主要使用反向传播算法，模型预测值（logits）与正确标签（label）送入损失函数（loss function）获得loss，然后进行反向传播计算，求得梯度（gradients），最终更新至模型参数（parameters）。通常我们会将函数的loss设置为函数的第一个输出，其他的输出即为辅助数据。用于实现对某个输出项的梯度截断，或消除某个Tensor对梯度的影响。如下图，构建基于一般图计算的计算函数和神经网络模型。的功能，满足返回辅助数据的同时不影响梯度计算的效果。
2024-07-02 00:26:04
396
原创 昇思25天学习打卡营第5天|网络构建
本章主要还是针对MindSpore中神经网络层的API（网络内部神经网络层具有权重参数和偏置参数（如。本章主要讲神经网络模型的构建方式，介绍神经网络模型每层中的构造方式。），这些参数会在训练过程中不断进行优化，可通过。）调用方法示例，后续需要不断熟悉，掌握这些写法。方法中进行子Cell的实例化和状态管理，在。定义神经网络时，可以继承。来获取参数名及对应的参数详情。提供常见神经网络层的实现方法。方法中实现Tensor操作。
2024-07-01 02:15:39
388
原创 昇思25天学习打卡营第4天|数据变换 Transforms
本章介绍dataset下数据转换的模块，用于对数据进行预处理，提供了面向图像、文本、音频等不同数据类型的Transforms，同时也支持使用Lambda函数。接收一个数据增强操作序列，然后将其组合成单个数据增强操作。提供一系列针对图像数据的Transforms。在Mnist数据处理过程中，使用了RescaleNormalize和HWC2CHW变换。
2024-06-29 23:22:43
534
原创 昇思25天学习打卡营第3天|数据集 Dataset
可以针对数据集指定列（column）添加数据变换（Transforms），将数据变换应用于该列数据的每个元素，并返回包含变换后元素的新数据集。本章主要介绍神经网络数据处理的基础能力，数据集Dataset在MindSpore中的实现，以及相应的数据转换和迭代器等方法。对于MindSpore暂不支持直接加载的数据集，可以构造自定义数据加载类或自定义数据集生成函数的方式来生成数据集，然后通过。支持通过可随机访问数据集对象、可迭代数据集对象和生成器(generator)构造自定义数据集。只支持加载解压后的文件。
2024-06-28 23:20:32
425
原创 昇思25天学习打卡营第2天|张量 Tensor
本章主要讲解了神经网络中的--张量Tensor，在MindSpore中的实现方式，主要包括构造、属性、运算和特殊张量--稀疏张量的表示。
2024-06-28 00:13:33
921
1
原创 昇思25天学习打卡营第1天|基本介绍和快速入门
MindSpore的整体技术架构：昇思MindSpore是一个全场景深度学习框架，旨在实现易开发高效执行全场景统一部署三大目标。易开发指的是API友好、调试难度低；高效执行包括计算效率、数据预处理效率和分布式训练效率；全场景则指框架同时支持云、边缘以及端侧场景。ModelZoo（模型库）：ModelZoo提供可用的深度学习算法网络，也欢迎更多开发者贡献新的网络(ModelZoo地址MindSpore Extend（扩展库）
2024-06-26 20:46:15
818
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人