![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
昇思MindSpore学习
文章平均质量分 94
黯玥
这个作者很懒,什么都没留下…
展开
-
昇思25天学习打卡营第22天|计算机视觉
MobileNet网络是由Google团队于2017年提出的专注于移动端、嵌入式或IoT设备的轻量级CNN网络,相比于传统的卷积神经网络,MobileNet网络使用深度可分离卷积(Depthwise Separable Convolution)的思想在准确率小幅度降低的前提下,大大减小了模型参数与运算量。并引入宽度系数 α和分辨率系数 β使模型满足不同应用场景的需求。原创 2024-07-26 10:53:03 · 341 阅读 · 0 评论 -
昇思25天学习打卡营第21天|计算机视觉
K近邻算法(K-Nearest-Neighbor, KNN)是一种用于分类和回归的非参数统计方法,最初由 Cover和Hart于1968年提出(Cover等人,1967),是机器学习最基础的算法之一。它正是基于以上思想:要确定一个样本的类别,可以计算它与所有训练样本的距离,然后找出和该样本最接近的k个样本,统计出这些样本的类别并进行投票,票数最多的那个类就是分类的结果。KNN的三个基本要素:K值,一个样本的分类是由K个邻居的“多数表决”确定的。K值越小,容易受噪声影响,反之,会使类别之间的界限变得模糊。原创 2024-07-25 17:39:11 · 885 阅读 · 0 评论 -
昇思25天学习打卡营第20天|计算机视觉
与传统方法不同,MusicGen采用单个stage的Transformer LM结合高效的token交织模式,取消了多层级的多个模型结构,例如分层或上采样,这使得MusicGen能够生成单声道和立体声的高质量音乐样本,同时提供更好的生成输出控制。MusicGen不仅能够生成符合文本描述的音乐,还能够通过旋律条件控制生成的音调结构。MusicGen是来自Meta AI的Jade Copet等人提出的基于单个语言模型(LM)的音乐生成模型,能够根据文本描述或音频提示生成高质量的音乐样本,相关研究成果参考论文《原创 2024-07-25 15:46:31 · 784 阅读 · 0 评论 -
昇思25天学习打卡营第19天|计算机视觉
近些年,随着基于自注意(Self-Attention)结构的模型的发展,特别是Transformer模型的提出,极大地促进了自然语言处理模型的发展。由于Transformers的计算效率和可扩展性,它已经能够训练具有超过100B参数的空前规模的模型。ViT则是自然语言处理和计算机视觉两个领域的融合结晶。在不依赖卷积操作的情况下,依然可以在图像分类任务上达到很好的效果。本案例完成了一个ViT模型在ImageNet数据上进行训练,验证和推理的过程,其中,对关键的ViT模型结构和原理作了讲解。原创 2024-07-24 12:52:16 · 977 阅读 · 0 评论 -
昇思25天学习打卡营第18天|计算机视觉
SSD,全称Single Shot MultiBox Detector,是Wei Liu在ECCV 2016上提出的一种目标检测算法。使用Nvidia Titan X在VOC 2007测试集上,SSD对于输入尺寸300x300的网络,达到74.3%mAP(mean Average Precision)以及59FPS;对于512x512的网络,达到了76.9%mAP ,超越当时最强的Faster RCNN(73.2%mAP)。具体可参考论文[1]。原创 2024-07-24 10:50:03 · 582 阅读 · 0 评论 -
昇思25天学习打卡营第17天|计算机视觉
ShuffleNetV1是旷视科技提出的一种计算高效的CNN模型,和MobileNet, SqueezeNet等一样主要应用在移动端,所以模型的设计目标就是利用有限的计算资源来达到最好的模型精度。ShuffleNetV1的设计核心是引入了两种操作:Pointwise Group Convolution和Channel Shuffle,这在保持精度的同时大大降低了模型的计算量。因此,ShuffleNetV1和MobileNet类似,都是通过设计更高效的网络结构来实现模型的压缩和加速。原创 2024-07-23 10:31:56 · 937 阅读 · 0 评论 -
昇思25天学习打卡营第16天|计算机视觉
ResNet50网络是2015年由微软实验室的何恺明提出,获得ILSVRC2015图像分类竞赛第一名。在ResNet网络提出之前,传统的卷积神经网络都是将一系列的卷积层和池化层堆叠得到的,但当网络堆叠到一定深度时,就会出现退化问题。下图是在CIFAR-10数据集上使用56层网络与20层网络训练误差和测试误差图,由图中数据可以看出,56层网络比20层网络训练误差和测试误差更大,随着网络的加深,其误差并没有如预想的一样减小。原创 2024-07-23 09:34:38 · 1270 阅读 · 0 评论 -
昇思25天学习打卡营第15天|计算机视觉
普遍的做法是,在一个非常大的基础数据集上训练得到一个预训练模型,然后使用该模型来初始化网络的权重参数或作为固定特征提取器应用于特定的任务中。开始训练模型,与没有预训练模型相比,将节约一大半时间,因为此时可以不用计算部分梯度。,数据集中的图像来自于ImageNet,每个分类有大约120张训练图像与30张验证图像。使用固定特征进行训练的时候,需要冻结除最后一层之外的所有网络层。对获取到的图像及标签数据进行可视化,标题为图像对应的label名称。接口下载数据集,并将下载后的数据集自动解压到当前目录下。原创 2024-07-22 17:42:11 · 487 阅读 · 0 评论 -
昇思25天学习打卡营第14天|计算机视觉
FCN主要用于图像分割领域,是一种端到端的分割方法,是深度学习应用在图像语义分割的开山之作。通过进行像素级的预测直接得出与原图大小相等的label map。因FCN丢弃全连接层替换为全卷积层,网络所有层均为卷积层,故称为全卷积网络。全卷积神经网络主要使用以下三种技术:卷积化(Convolutional)使用VGG-16作为FCN的backbone。VGG-16的输入为224*224的RGB图像,输出为1000个预测值。VGG-16只能接受固定大小的输入,丢弃了空间坐标,产生非空间输出。原创 2024-07-22 16:54:07 · 1138 阅读 · 0 评论 -
昇思25天学习打卡营第13天|生成式
如果将Diffusion与其他生成模型(如Normalizing Flows、GAN或VAE)进行比较,它并没有那么复杂,它们都将噪声从一些简单分布转换为数据样本,Diffusion也是从纯噪声开始通过一个神经网络学习逐步去噪,最终得到一个实际图像。Diffusion对于图像的处理包括以下两个过程:我们选择的固定(或预定义)正向扩散过程qqq:它逐渐将高斯噪声添加到图像中,直到最终得到纯噪声一个学习的反向去噪的扩散过程pθp_\thetapθ。原创 2024-07-22 15:16:33 · 683 阅读 · 0 评论 -
昇思25天学习打卡营第12天|生成式
Pix2Pix是基于条件生成对抗网络(cGAN, Condition Generative Adversarial Networks )实现的一种深度学习图像转换模型,该模型是由Phillip Isola等作者在2017年CVPR上提出的,可以实现语义/标签到真实图片、灰度图到彩色图、航空图到地图、白天到黑夜、线稿图到实物图的转换。生成器和判别器。传统上,尽管此类任务的目标都是相同的从像素预测像素,但每项都是用单独的专用机器来处理的。原创 2024-07-21 12:11:48 · 684 阅读 · 0 评论 -
昇思25天学习打卡营第11天|生成式
生成式对抗网络(Generative Adversarial Networks,GAN)是一种生成式机器学习模型,是近年来复杂分布上无监督学习最具前景的方法之一。最初,GAN由Ian J. Goodfellow于2014年发明,并在论文生成器的任务是生成看起来像训练图像的“假”图像;判别器需要判断从生成器输出的图像是真实的训练图像还是虚假的图像。GAN通过设计生成模型和判别模型这两个模块,使其互相博弈学习产生了相当好的输出。GAN模型的核心在于提出了通过对抗过程来估计生成模型这一全新框架。原创 2024-07-19 16:39:39 · 656 阅读 · 0 评论 -
昇思25天学习打卡营第10天|生成式
输入是3x64x64的图像,输出是该图像为真图像的概率。在下面的教程中,我们将通过示例代码说明DCGAN网络如何设置网络、优化器、如何计算损失函数以及如何初始化模型权重。DCGAN论文提到,使用卷积而不是通过池化来进行下采样是一个好方法,因为它可以让网络学习自己的池化特征。循环训练网络,每经过50次迭代,就收集生成器和判别器的损失,以便于后面绘制训练过程中损失函数的图像。从上面的图像可以看出,随着训练次数的增多,图像质量也越来越好。在这两个部分中,分别获取训练过程中的损失,并在每个周期结束时进行统计,将。原创 2024-07-19 14:57:37 · 991 阅读 · 0 评论 -
昇思25天学习打卡营第9天|生成式
CycleGAN(Cycle Generative Adversarial Network) 即循环对抗生成网络,来自论文。该模型实现了一种在没有配对示例的情况下学习将图像从源域 X 转换到目标域 Y 的方法。该模型一个重要应用领域是域迁移(Domain Adaptation),可以通俗地理解为图像风格迁移。原创 2024-07-19 11:53:56 · 1042 阅读 · 0 评论 -
昇思25天学习打卡营第8天|应用实践
情感分类是自然语言处理中的经典任务,是典型的分类问题。输入: This film is terrible正确标签: Negative预测标签: Negative输入: This film is great正确标签: Positive预测标签: Positive最后我们设计一个预测函数,实现开头描述的效果,输入一句评价,获得评价的情感分类。将输入句子进行分词;使用词表获取对应的index id序列;index id序列转为Tensor;送入模型获得预测结果;打印输出预测结果。原创 2024-07-18 21:55:01 · 817 阅读 · 0 评论 -
昇思25天学习打卡营第7天|应用实践
序列标注指给定输入序列,给序列中每个Token进行标注标签的过程。序列标注问题通常用于从文本中进行信息抽取,包括分词(Word Segmentation)、词性标注(Position Tagging)、命名实体识别(Named Entity Recognition, NER)等。输入序列清华大学座落于首都北京输出标注BIIIOOOOOBI如上表所示,清华大学和北京是地名,需要将其识别,我们对每个输入的单词预测其标签,最后根据标签来识别实体。原创 2024-07-11 16:26:32 · 692 阅读 · 0 评论 -
昇思25天学习打卡营第6天|应用实践
Beam search通过在每个时间步保留最可能的 num_beams 个词,并从中最终选择出概率最高的序列来降低丢失潜在的高概率序列的风险。按照贪心搜索输出序列(“The”,“nice”,“woman”) 的条件概率为:0.5 x 0.4 = 0.2。缺点: 错过了隐藏在低概率词后面的高概率词,如:dog=0.5, has=0.9。选出概率最大的 K 个词,重新归一化,最后在归一化后的 K 个词中采样。2. 开放域生成效果差。增加高概率单词的似然并降低低概率单词的似然。将出现过的候选词的概率设置为 0。原创 2024-07-08 11:43:12 · 664 阅读 · 0 评论 -
昇思25天学习打卡营第5天|应用实践
实验环境已经预装了mindspore==2.2.14,如需更换mindspore版本,可更改下面mindspore的版本号!!!# 该案例在 mindnlp 0.3.1 版本完成适配,如果发现案例跑不通,可以指定mindnlp版本,执行`!!原创 2024-07-05 09:53:29 · 355 阅读 · 0 评论 -
昇思25天学习打卡营第4天|应用实践
BERT全称是来自变换器的双向编码器表征量(Bidirectional Encoder Representations from Transformers),它是Google于2018年末开发并发布的一种新型语言模型。与BERT模型相似的预训练语言模型例如问答、命名实体识别、自然语言推理、文本分类等在许多自然语言处理任务中发挥着重要作用。模型是基于Transformer中的Encoder并加上双向的结构,因此一定要熟练掌握Transformer的Encoder的结构。原创 2024-07-04 09:29:27 · 896 阅读 · 0 评论 -
昇思25天学习打卡营第3天|初学入门
从网络构建中加载代码,构建一个神经网络模型。nn.ReLU(),nn.ReLU(),超参(Hyperparameters)是可以调整的参数,可以控制模型训练优化的过程,不同的超参数值可能会影响模型训练和收敛速度。wt1wt−η1n∑x∈B∇lxwtwt1wt−ηn1x∈B∑∇lxwt公式中,nnn是批量大小(batch size),ηηη是学习率(learning rate)。另外,wtw_{t}w。原创 2024-07-03 15:26:04 · 1034 阅读 · 0 评论 -
昇思25天学习打卡营第2天|初学入门
当我们定义神经网络时,可以继承nn.Cell类,在__init__方法中进行子Cell的实例化和状态管理,在construct方法中实现Tensor操作。construct意为神经网络(计算图)构建,相关内容详见使用静态图加速。nn.ReLU(),nn.ReLU(),构建完成后,实例化Network对象,并查看其结构。结果输出:Network原创 2024-07-03 10:48:12 · 903 阅读 · 0 评论 -
昇思25天学习打卡营第1天|初学入门
indices 标记的是列的索引,indices = Tensor([0, 1]) 表示只有第0列和第1列有数据,indices = Tensor([0, 1, 2, 4]) 表示只有第0列、第1列、第2列、第4列有数据。在某些应用场景中(比如推荐系统、分子动力学、图神经网络等),数据的特征是稀疏的,若使用普通张量表征这些数据会引入大量不必要的计算、存储和通讯开销。表示非零元素的值,shape表示的是被压缩的稀疏张量的形状。: 一维整数张量,表示稀疏张量非零元素在列中的位置, 与。原创 2024-07-02 11:27:39 · 1045 阅读 · 0 评论