MindSpore
文章平均质量分 84
JeffDingAI
OpenI首批资深体验官,Datawhale成员,MindSpore资深开发者,Ascend优秀开发者,主要探索学习国产算力、Mindspore、Ascend、AI For Science、AIGC
展开
-
【昇思学习打卡营打卡-第二十八天】MindNLP ChatGLM-6B StreamChat
本案例基于MindNLP和ChatGLM-6B实现一个聊天应用。可以修改下列参数和prompt体验模型。下载权重大约需要10分钟。原创 2024-07-16 19:25:36 · 270 阅读 · 0 评论 -
【昇思学习打卡营打卡-第二十七天】文本解码原理-以MindNLP为例
Beam search通过在每个时间步保留最可能的 num_beams 个词,并从中最终选择出概率最高的序列来降低丢失潜在的高概率序列的风险。按照贪心搜索输出序列(“The”,“nice”,“woman”) 的条件概率为:0.5 x 0.4 = 0.2。设置no_repeat_ngram_size=2 ,任意 2-gram 不会出现两次。缺点: 错过了隐藏在低概率词后面的高概率词,如:dog=0.5, has=0.9。增加高概率单词的似然并降低低概率单词的似然。将出现过的候选词的概率设置为 0。原创 2024-07-15 19:22:11 · 314 阅读 · 0 评论 -
【昇思学习打卡营打卡-第二十六天】基于MindSpore通过GPT实现情感分类
【代码】【昇思学习打卡营打卡-第二十六天】基于MindSpore通过GPT实现情感分类。原创 2024-07-14 17:12:03 · 237 阅读 · 0 评论 -
【昇思25天学习打卡营打卡指南-第二十五天】基于MindSpore的GPT2文本摘要
本次实验使用的是nlpcc2017摘要数据,内容为新闻正文及其摘要,总计50000个样本。因GPT2无中文的tokenizer,我们使用BertTokenizer替代。数据处理,将向量数据变为中文数据。原创 2024-07-13 13:01:05 · 313 阅读 · 0 评论 -
【昇思25天学习打卡营打卡指南-第二十四天】基于 MindSpore 实现 BERT 对话情绪识别
自己输入推理数据,展示模型的泛化能力。predict("家人们咱就是说一整个无语住了 绝绝子叠buff")原创 2024-07-12 14:01:33 · 869 阅读 · 0 评论 -
【昇思25天学习打卡营打卡指南-第二十三天】Pix2Pix实现图像转换
Pix2Pix是基于条件生成对抗网络(cGAN, Condition Generative Adversarial Networks )实现的一种深度学习图像转换模型,该模型是由Phillip Isola等作者在2017年CVPR上提出的,可以实现语义/标签到真实图片、灰度图到彩色图、航空图到地图、白天到黑夜、线稿图到实物图的转换。Pix2Pix是将cGAN应用于有监督的图像到图像翻译的经典之作,其包括两个模型:生成器和判别器。传统上,尽管此类任务的目标都是相同的从像素预测像素,但每项都是用单独的专用机器来原创 2024-07-11 11:54:09 · 883 阅读 · 0 评论 -
【昇思25天学习打卡营打卡指南-第二十二天】GAN图像生成
MNIST手写数字数据集是NIST数据集的子集,共有70000张手写数字图片,包含60000张训练样本和10000张测试样本,数字图片为二进制文件,图片大小为28*28,单通道。图片已经预先进行了尺寸归一化和中心化处理。本案例将使用MNIST手写数字数据集来训练一个生成式对抗网络,使用该网络模拟生成手写数字图片。原创 2024-07-10 13:02:45 · 638 阅读 · 0 评论 -
【昇思25天学习打卡营打卡指南-第二十一天】Diffusion扩散模型
Diffusion扩散模型本文基于Hugging Face:The Annotated Diffusion Model一文翻译迁移而来,同时参考了由浅入深了解Diffusion Model一文。关于扩散模型(Diffusion Models)有很多种理解,本文的介绍是基于denoising diffusion probabilistic model (DDPM),DDPM已经在(无)条件图像/音频/视频生成领域取得了较多显著的成果,现有的比较受欢迎的的例子包括由OpenAI主导的GLIDE和DALL-E原创 2024-07-09 11:36:57 · 1121 阅读 · 0 评论 -
【昇思25天学习打卡营打卡指南-第十八天】基于MobileNetv2的垃圾分类
MobileNet网络是由Google团队于2017年提出的专注于移动端、嵌入式或IoT设备的轻量级CNN网络,相比于传统的卷积神经网络,MobileNet网络使用深度可分离卷积(Depthwise Separable Convolution)的思想在准确率小幅度降低的前提下,大大减小了模型参数与运算量。并引入宽度系数 α和分辨率系数 β使模型满足不同应用场景的需求。原创 2024-07-06 17:21:56 · 717 阅读 · 0 评论 -
【昇思25天学习打卡营打卡指南-第十七天】基于MindNLP+MusicGen生成自己的个性化音乐
MusicGen是来自Meta AI的Jade Copet等人提出的基于单个语言模型(LM)的音乐生成模型,能够根据文本描述或音频提示生成高质量的音乐样本,相关研究成果参考论文《MusicGen直接使用谷歌的及其权重作为文本编码器模型,并使用及其权重作为音频压缩模型。MusicGen解码器是一个语言模型架构,针对音乐生成任务从零开始进行训练。MusicGen 模型的新颖之处在于音频代码的预测方式。原创 2024-07-05 11:12:38 · 707 阅读 · 0 评论 -
【昇思25天学习打卡营打卡指南-第十五天】Vision Transformer图像分类
近些年,随着基于自注意(Self-Attention)结构的模型的发展,特别是Transformer模型的提出,极大地促进了自然语言处理模型的发展。由于Transformers的计算效率和可扩展性,它已经能够训练具有超过100B参数的空前规模的模型。ViT则是自然语言处理和计算机视觉两个领域的融合结晶。在不依赖卷积操作的情况下,依然可以在图像分类任务上达到很好的效果。原创 2024-07-03 12:11:14 · 723 阅读 · 0 评论 -
【昇思25天学习打卡营打卡指南-第二天】张量Tensor
张量(Tensor)是一个可用来表示在一些矢量、标量和其他张量之间的线性关系的多线性函数,这些线性关系的基本例子有内积、外积、线性映射以及笛卡儿积。其坐标在n维空间内,有nr个分量的一种量,其中每个分量都是坐标的函数,而在坐标变换时,这些分量也依照某些规则作线性变换。r称为该张量的秩或阶(与矩阵的秩和阶均无关系)。张量是一种特殊的数据结构,与数组和矩阵非常相似。张量也是MindSpore网络运算中的基本数据结构,本教程主要介绍张量和稀疏张量的属性及用法。原创 2024-06-20 10:48:22 · 753 阅读 · 0 评论 -
【昇思25天学习打卡营打卡指南-第五天】网络构建
当我们定义神经网络时,可以继承nn.Cell类,在__init__方法中进行子Cell的实例化和状态管理,在construct方法中实现Tensor操作。construct意为神经网络(计算图)构建,相关内容详见使用静态图加速。nn.ReLU(),nn.ReLU(),构建完成后,实例化Network对象,并查看其结构。运行结果**Network原创 2024-06-23 11:09:44 · 291 阅读 · 0 评论 -
【昇思25天学习打卡营打卡指南-第十四天】SSD目标检测
SSD,全称Single Shot MultiBox Detector,是Wei Liu在ECCV 2016上提出的一种目标检测算法。使用Nvidia Titan X在VOC 2007测试集上,SSD对于输入尺寸300x300的网络,达到74.3%mAP(mean Average Precision)以及59FPS;对于512x512的网络,达到了76.9%mAP ,超越当时最强的Faster RCNN(73.2%mAP)。具体可参考论文。原创 2024-07-02 13:36:45 · 1018 阅读 · 0 评论 -
【昇思25天学习打卡营打卡指南-第十三天】ShuffleNet图像分类
ShuffleNetV1是旷视科技提出的一种计算高效的CNN模型,和MobileNet, SqueezeNet等一样主要应用在移动端,所以模型的设计目标就是利用有限的计算资源来达到最好的模型精度。ShuffleNetV1的设计核心是引入了两种操作:Pointwise Group Convolution和Channel Shuffle,这在保持精度的同时大大降低了模型的计算量。因此,ShuffleNetV1和MobileNet类似,都是通过设计更高效的网络结构来实现模型的压缩和加速。原创 2024-07-01 13:04:47 · 752 阅读 · 0 评论 -
【昇思25天学习打卡营打卡指南-第十二天】ResNet50图像分类
ResNet50网络是2015年由微软实验室的何恺明提出,获得ILSVRC2015图像分类竞赛第一名。在ResNet网络提出之前,传统的卷积神经网络都是将一系列的卷积层和池化层堆叠得到的,但当网络堆叠到一定深度时,就会出现退化问题。下图是在CIFAR-10数据集上使用56层网络与20层网络训练误差和测试误差图,由图中数据可以看出,56层网络比20层网络训练误差和测试误差更大,随着网络的加深,其误差并没有如预想的一样减小。原创 2024-06-30 08:49:13 · 843 阅读 · 0 评论 -
【昇思25天学习打卡营打卡指南-第十一天】ResNet50迁移学习
下载案例所用到的,数据集中的图像来自于ImageNet,每个分类有大约120张训练图像与30张验证图像。使用download接口下载数据集,并将下载后的数据集自动解压到当前目录下。原创 2024-06-29 11:54:12 · 406 阅读 · 0 评论 -
【昇思25天学习打卡营打卡指南-第十天】FCN图像语义分割
FCN主要用于图像分割领域,是一种端到端的分割方法,是深度学习应用在图像语义分割的开山之作。通过进行像素级的预测直接得出与原图大小相等的label map。因FCN丢弃全连接层替换为全卷积层,网络所有层均为卷积层,故称为全卷积网络。全卷积神经网络主要使用以下三种技术:卷积化(Convolutional)使用VGG-16作为FCN的backbone。VGG-16的输入为224*224的RGB图像,输出为1000个预测值。VGG-16只能接受固定大小的输入,丢弃了空间坐标,产生非空间输出。原创 2024-06-28 18:17:22 · 1079 阅读 · 0 评论 -
【昇思25天学习打卡营打卡指南-第九天】使用静态图加速
AI编译框架分为两种运行模式,分别是动态图模式以及静态图模式。MindSpore默认情况下是以动态图模式运行,但也支持手工切换为静态图模式。原创 2024-06-27 17:29:47 · 894 阅读 · 0 评论 -
【昇思25天学习打卡营打卡指南-第八天】保存与加载
上一章节主要介绍了如何调整超参数,并进行网络模型训练。在训练网络模型的过程中,实际上我们希望保存中间和最后的结果,用于微调(fine-tune)和后续的模型推理与部署,本章节我们将介绍如何保存与加载模型。原创 2024-06-26 17:30:26 · 213 阅读 · 0 评论 -
【昇思25天学习打卡营打卡指南-第七天】模型训练
加载代码,构建一个神经网络模型网络构建nn.ReLU(),nn.ReLU(),超参(Hyperparameters)是可以调整的参数,可以控制模型训练优化的过程,不同的超参数值可能会影响模型训练和收敛速度。wt1wt−η1n∑x∈B∇lxwtwt1wt−ηn1x∈B∑∇lxwt公式中,nnn是批量大小(batch size),ηηη是学习率(learning rate)。另外,wtw_{t}wt。原创 2024-06-25 19:12:16 · 919 阅读 · 0 评论 -
【昇思25天学习打卡营打卡指南-第六天】函数式自动微分
神经网络的训练主要使用反向传播算法,模型预测值(logits)与正确标签(label)送入损失函数(loss function)获得loss,然后进行反向传播计算,求得梯度(gradients),最终更新至模型参数(parameters)。自动微分能够计算可导函数在某点处的导数值,是反向传播算法的一般化。自动微分主要解决的问题是将一个复杂的数学运算分解为一系列简单的基本运算,该功能对用户屏蔽了大量的求导细节和过程,大大降低了框架的使用门槛。原创 2024-06-24 13:38:18 · 813 阅读 · 0 评论 -
【昇思25天学习打卡营打卡指南-第四天】数据变换 Transforms
通常情况下,直接加载的原始数据并不能直接送入神经网络进行训练,此时我们需要对其进行数据预处理。MindSpore提供不同种类的数据变换(Transforms),配合数据处理Pipeline来实现数据预处理。所有的Transforms均可通过map方法传入,实现对指定数据列的处理。提供了面向图像、文本、音频等不同数据类型的Transforms,同时也支持使用Lambda函数。下面分别对其进行介绍。原创 2024-06-22 11:06:53 · 670 阅读 · 0 评论 -
【昇思25天学习打卡营打卡指南-第三天】数据集Dataset
数据是深度学习的基础,高质量的数据输入将在整个深度神经网络中起到积极作用。MindSpore提供基于Pipeline的数据引擎,通过数据集和数据变换实现高效的数据预处理。其中Dataset是Pipeline的起始,用于加载原始数据。提供了内置的文本、图像、音频等数据集加载接口,并提供了自定义数据集加载接口。API文档参考此外MindSpore的领域开发库也提供了大量的预加载数据集,可以使用API一键下载使用。本教程将分别对不同的数据集加载方式、数据集常见操作和自定义数据集方法进行详细阐述。引入库。原创 2024-06-21 09:29:33 · 986 阅读 · 0 评论 -
【昇思25天学习打卡营打卡指南-第一天】基本介绍与快速入门
昇思MindSpore是一个全场景深度学习框架,旨在实现易开发、高效执行、全场景统一部署三大目标。其中,易开发表现为API友好、调试难度低;高效执行包括计算效率、数据预处理效率和分布式训练效率;全场景则指框架同时支持云、边缘以及端侧场景。ModelZoo(模型库):ModelZoo提供可用的深度学习算法网络,也欢迎更多开发者贡献新的网络(ModelZoo地址MindSpore Extend(扩展库)原创 2024-06-19 10:51:30 · 902 阅读 · 0 评论