华为MindSpore初探
文章平均质量分 92
龙泉寺天下行走
这个作者很懒,什么都没留下…
展开
-
《昇思25天学习打卡营第24天| 文本解码原理》
Beam search通过在每个时间步保留最可能的 num_beams 个词,并从中最终选择出概率最高的序列来降低丢失潜在的高概率序列的风险。1、基于N-gram或者其他的都是概率模型, N-gram模型对训练数据的需求较少,但对数据的覆盖性要求高。缺点: 错过了隐藏在低概率词后面的高概率词,如:dog=0.5, has=0.9。选出概率最大的 K 个词,重新归一化,最后在归一化后的 K 个词中采样。2. 开放域生成效果差。2. 开放域生成效果差。增加高概率单词的似然并降低低概率单词的似然。原创 2024-07-17 17:54:20 · 930 阅读 · 0 评论 -
《昇思25天学习打卡营第23天|Diffusion扩散模型》
如果将Diffusion与其他生成模型(如Normalizing Flows、GAN或VAE)进行比较,它并没有那么复杂,它们都将噪声从一些简单分布转换为数据样本,Diffusion也是从纯噪声开始通过一个神经网络学习逐步去噪,最终得到一个实际图像。Diffusion对于图像的处理包括以下两个过程:我们选择的固定(或预定义)正向扩散过程qqq:它逐渐将高斯噪声添加到图像中,直到最终得到纯噪声一个学习的反向去噪的扩散过程pθp_\thetapθ。原创 2024-07-16 18:20:21 · 677 阅读 · 0 评论 -
《昇思25天学习打卡营第22天|Pix2Pix实现图像转换》
Pix2Pix是基于条件生成对抗网络(cGAN, Condition Generative Adversarial Networks )实现的一种深度学习图像转换模型,该模型是由Phillip Isola等作者在2017年CVPR上提出的,可以实现语义/标签到真实图片、灰度图到彩色图、航空图到地图、白天到黑夜、线稿图到实物图的转换。Pix2Pix是将cGAN应用于有监督的图像到图像翻译的经典之作,其包括两个模型:生成器和判别器。原创 2024-07-16 13:06:52 · 842 阅读 · 0 评论 -
《昇思25天学习打卡营第19天|Vision Transformer图像分类》
近些年,随着基于自注意(Self-Attention)结构的模型的发展,特别是Transformer模型的提出,极大地促进了自然语言处理模型的发展。由于Transformers的计算效率和可扩展性,它已经能够训练具有超过100B参数的空前规模的模型。ViT则是自然语言处理和计算机视觉两个领域的融合结晶。在不依赖卷积操作的情况下,依然可以在图像分类任务上达到很好的效果。本案例完成了一个ViT模型在ImageNet数据上进行训练,验证和推理的过程,其中,对关键的ViT模型结构和原理作了讲解。原创 2024-07-15 08:58:57 · 963 阅读 · 0 评论 -
《昇思25天学习打卡营第5天|数据变换》
通常情况下,直接加载的原始数据并不能直接送入神经网络进行训练,此时我们需要对其进行数据预处理。MindSpore提供不同种类的数据变换(Transforms),配合数据处理Pipeline来实现数据预处理。所有的Transforms均可通过map方法传入,实现对指定数据列的处理。提供了面向图像、文本、音频等不同数据类型的Transforms,同时也支持使用Lambda函数。下面分别对其进行介绍。原创 2024-06-23 10:02:38 · 628 阅读 · 0 评论 -
《昇思25天学习打卡营第15天|实战CycleGAN》
CycleGAN(Cycle Generative Adversarial Network) 即循环对抗生成网络,来自论文。该模型实现了一种在没有配对示例的情况下学习将图像从源域 X 转换到目标域 Y 的方法。该模型一个重要应用领域是域迁移(Domain Adaptation),可以通俗地理解为图像风格迁移。原创 2024-07-07 17:10:45 · 627 阅读 · 0 评论 -
《昇思25天学习打卡营第12天|ResNet50迁移学习》
在实际应用场景中,由于训练数据集不足,所以很少有人会从头开始训练整个网络。普遍的做法是,在一个非常大的基础数据集上训练得到一个预训练模型,然后使用该模型来初始化网络的权重参数或作为固定特征提取器应用于特定的任务中。本章将使用迁移学习的方法对ImageNet数据集中的狼和狗图像进行分类。迁移学习详细内容见。原创 2024-07-04 16:26:39 · 571 阅读 · 0 评论 -
《昇思25天学习打卡营第11天|FCN图像语义分割》
FCN主要用于图像分割领域,是一种端到端的分割方法,是深度学习应用在图像语义分割的开山之作。通过进行像素级的预测直接得出与原图大小相等的label map。因FCN丢弃全连接层替换为全卷积层,网络所有层均为卷积层,故称为全卷积网络。全卷积神经网络主要使用以下三种技术:卷积化(Convolutional)使用VGG-16作为FCN的backbone。VGG-16的输入为224*224的RGB图像,输出为1000个预测值。VGG-16只能接受固定大小的输入,丢弃了空间坐标,产生非空间输出。原创 2024-07-02 16:26:10 · 996 阅读 · 0 评论 -
《昇思25天学习打卡营第10天|实战静态图加速》
AI编译框架分为两种运行模式,分别是动态图模式以及静态图模式。MindSpore默认情况下是以动态图模式运行,但也支持手工切换为静态图模式。原创 2024-07-01 14:53:38 · 757 阅读 · 0 评论 -
《昇思25天学习打卡营第9天|保存与加载》
上一章节主要介绍了如何调整超参数,并进行网络模型训练。在训练网络模型的过程中,实际上我们希望保存中间和最后的结果,用于微调(fine-tune)和后续的模型推理与部署,本章节我们将介绍如何保存与加载模型。原创 2024-06-29 13:19:57 · 333 阅读 · 0 评论 -
《昇思25天学习打卡营第8天|MindSpore 模型训练》
从网络构建中加载代码,构建一个神经网络模型。nn.ReLU(),nn.ReLU(),超参(Hyperparameters)是可以调整的参数,可以控制模型训练优化的过程,不同的超参数值可能会影响模型训练和收敛速度。wt1wt−η1n∑x∈B∇lxwtwt1wt−ηn1x∈B∑∇lxwt公式中,nnn是批量大小(batch size),ηηη是学习率(learning rate)。另外,wtw_{t}w。原创 2024-06-26 18:32:04 · 589 阅读 · 0 评论 -
《昇思25天学习打卡营第6天| 网络构建》
介绍了华为昇腾的网络构建方式原创 2024-06-24 12:36:46 · 968 阅读 · 0 评论 -
《昇思25天学习打卡营第4天|基本介绍》
昇思MindSpore是一个全场景深度学习框架,旨在实现易开发、高效执行、全场景统一部署三大目标。其中,易开发表现为API友好、调试难度低;高效执行包括计算效率、数据预处理效率和分布式训练效率;全场景则指框架同时支持云、边缘以及端侧场景。ModelZoo(模型库):ModelZoo提供可用的深度学习算法网络,也欢迎更多开发者贡献新的网络(ModelZoo地址MindSpore Extend(扩展库)原创 2024-06-23 08:41:22 · 1085 阅读 · 0 评论 -
《昇思25天学习打卡营第3天|数据集》
模块提供了一些常用的公开数据集和标准格式数据集的加载API。对于MindSpore暂不支持直接加载的数据集,可以构造自定义数据加载类或自定义数据集生成函数的方式来生成数据集,然后通过接口实现自定义方式的数据集加载。支持通过可随机访问数据集对象、可迭代数据集对象和生成器(generator)构造自定义数据集,下面分别对其进行介绍。原创 2024-06-21 12:45:17 · 840 阅读 · 0 评论 -
《昇思25天学习打卡营第 2 天| 张量》
Mindspore Tensor用法,含稀疏Tensor原创 2024-06-20 10:16:14 · 212 阅读 · 0 评论 -
《昇思25天学习打卡营第1天|MindSpore快速入门》
建立数据集MindSpore的dataset使用数据处理流水线(Data Processing Pipeline),需指定map、batch、shuffle等操作。这里我们使用map对图像数据及标签进行变换处理,然后将处理好的数据集打包为大小为64的batch。类是构建所有网络的基类,也是网络的基本单元。对数据集进行迭代访问,查看数据和标签的shape和datatype。在本教程中,我们使用Mnist数据集,自动下载完成后,使用。提供的数据变换进行预处理。实现高效的数据预处理。包含所有网络层的定义,原创 2024-06-19 10:29:50 · 603 阅读 · 1 评论