- 博客(26)
- 收藏
- 关注
RSS订阅转载 昇思25天学习打卡营第26天|xkd007|生成式网络应用（2）Diffusion扩散模型
如果将Diffusion与其他生成模型（如Normalizing Flows、GAN或VAE）进行比较，它并没有那么复杂，它们都将噪声从一些简单分布转换为数据样本，Diffusion也是从纯噪声开始通过一个神经网络学习逐步去噪，最终得到一个实际图像。Diffusion对于图像的处理包括以下两个过程：我们选择的固定（或预定义）正向扩散过程 𝑞：它逐渐将高斯噪声添加到图像中，直到最终得到纯噪声一个学习的反向去噪的扩散过程 𝑝𝜃：通过训练神经网络从纯噪声开始逐渐对图像去噪，直到最终得到一个实际的图像。
2024-07-29 15:57:39
57
转载 昇思25天学习打卡营第25天|xkd007|生成式网络应用（1）GAN图像生成
生成式对抗网络(Generative Adversarial Networks，GAN)是一种生成式机器学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。最初，GAN由Ian J. Goodfellow于2014年发明，并在论文中首次进行了描述，其主要由两个不同的模型共同组成——生成器(Generative Model)和判别器生成器的任务是生成看起来像训练图像的“假”图像；判别器需要判断从生成器输出的图像是真实的训练图像还是虚假的图像。GAN通过设计生成模型和判别模型这两个模块，使其。
2024-07-18 12:18:13
63
转载 昇思25天学习打卡营第24天|xkd007|热门LLM及其他应用（3）基于MobileNetv2的垃圾分类
MobileNet网络是由Google团队于2017年提出的专注于移动端、嵌入式或IoT设备的轻量级CNN网络，相比于传统的卷积神经网络，MobileNet网络使用深度可分离卷积（Depthwise Separable Convolution）的思想在准确率小幅度降低的前提下，大大减小了模型参数与运算量。并引入宽度系数 α和分辨率系数 β使模型满足不同应用场景的需求。由于MobileNet网络中Relu激活函数处理低维特征信息时会存在大量的丢失，所以MobileNetV2网络提出使用倒残差结构。
2024-07-17 11:43:41
67
转载 昇思25天学习打卡营第23天|xkd007|热门LLM及其他应用（2）K近邻算法实现红酒聚类
K近邻算法（K-Nearest-Neighbor, KNN）是一种用于分类和回归的非参数统计方法，最初由 Cover和Hart于1968年提出(Cover等人,1967)，是机器学习最基础的算法之一。要确定一个样本的类别，可以计算它与所有训练样本的距离，然后找出和该样本最接近的k个样本，统计出这些样本的类别并进行投票，票数最多的那个类就是分类的结果。KNN的三个基本要素K值，一个样本的分类是由K个邻居的“多数表决”确定的。K值越小，容易受噪声影响，反之，会使类别之间的界限变得模糊。距离度量。
2024-07-16 09:32:21
55
转载 昇思25天学习打卡营第22天|xkd007|热门LLM及其他应用（1）基于MindNLP+MusicGen生成自己的个性化音乐
MusicGen是来自Meta AI的Jade Copet等人提出的基于单个语言模型（LM）的音乐生成模型，能够根据文本描述或音频提示生成高质量的音乐样本，相关研究成果参考论文《MusicGen模型基于结构，可以分解为三个不同的阶段用户输入的文本描述作为输入传递给一个固定的文本编码器模型，以获得一系列隐形状态表示。训练MusicGen解码器来预测离散的隐形状态音频token。对这些音频token使用音频压缩模型（如EnCodec）进行解码，以恢复音频波形。
2024-07-16 00:58:02
86
原创 昇思25天学习打卡营第21天|xkd007|LLM原理和实践（4）文本解码原理--以MindNLP为例
根据前文预测下一个单词。（本文介绍几种选取预测词的方法，及其优缺点）一个文本序列的概率分布可以分解为每个词基于其上文的条件概率的乘积MindNLP/huggingface Transformers提供的文本生成方法在每个时间步𝑡都简单地选择概率最高的词作为当前输出词:按照贪心搜索输出序列("The","nice","woman") 的条件概率为：0.5 x 0.4 = 0.2缺点: 错过了隐藏在低概率词后面的高概率词，如：dog=0.5, has=0.9 
2024-07-11 01:04:54
58
转载 昇思25天学习打卡营第16天|xkd007|自然语言处理（1）-LSTM+CRF序列标注
序列标注指给定输入序列，给序列中每个Token进行标注标签的过程。序列标注问题通常用于从文本中进行信息抽取，包括分词(Word Segmentation)、词性标注(Position Tagging)、命名实体识别(Named Entity Recognition, NER)等。以命名实体识别为例：如上表所示，清华大学和北京是地名，需要将其识别，我们对每个输入的单词预测其标签，最后根据标签来识别实体。这里使用了一种常见的命名实体识别的标注方法——“BIOE”标注。
2024-07-09 12:13:42
50
转载 昇思25天学习打卡营第15天|xkd007|计算机视觉应用实践（6）-Vision Transformer图像分类
近些年，随着基于自注意（Self-Attention）结构的模型的发展，特别是Transformer模型的提出，极大地促进了自然语言处理模型的发展。由于Transformers的计算效率和可扩展性，它已经能够训练具有超过100B参数的空前规模的模型。ViT则是自然语言处理和计算机视觉两个领域的融合结晶。在不依赖卷积操作的情况下，依然可以在图像分类任务上达到很好的效果。本案例完成了一个ViT模型在ImageNet数据上进行训练，验证和推理的过程，其中，对关键的ViT模型结构和原理作了讲解。
2024-07-08 11:29:58
56
转载 昇思25天学习打卡营第14天|xkd007|计算机视觉应用实践（5）-SSD目标检测
SSD，全称（单次多框检测器，SSD的主要特点是它能够在单次前向传播中同时预测多个类别的对象和它们的位置，是Wei Liu在ECCV2016（欧洲计算机视觉会议）上提出的一种目标检测算法。使用Nvidia Titan X在VOC 2007测试集上，SSD对于输入尺寸300x300的网络，达到74.3%mAP平均精度均值，是一个在计算机视觉领域，特别是在目标检测任务中常用的性能评估指标)以及59FPS（Frames Per Second，每秒帧数；
2024-07-08 00:36:37
40
转载 昇思25天学习打卡营第13天|xkd007|计算机视觉应用实践（4）-ShuffleNet图像分类
ShuffleNetV1是旷视科技提出的一种计算高效的CNN（卷积神经网络）模型，和MobileNet, SqueezeNet等一样主要应用在移动端，所以模型的设计目标就是利用有限的计算资源来达到最好的模型精度。和，这在保持精度的同时大大降低了模型的计算量。因此，ShuffleNetV1和MobileNet类似，都是通过设计更高效的网络结构来实现模型的压缩和加速。了解ShuffleNet更多详细内容，详见论文ShuffleNet。点此处可下载如下图所示，
2024-07-06 23:55:12
47
转载 昇思25天学习打卡营第12天|xkd007|计算机视觉应用实践（3）-ResNet50图像分类
ResNet50网络是2015年由微软实验室的何恺明提出，获得ILSVRC2015图像分类竞赛第一名。在ResNet网络提出之前，传统的卷积神经网络都是将一系列的卷积层和池化层堆叠得到的，但当网络堆叠到一定深度时，就会出现退化问题。下图是在CIFAR-10数据集上使用56层网络与20层网络训练误差和测试误差图，由图中数据可以看出，56层网络比20层网络训练误差和测试误差更大，随着网络的加深，其误差并没有如预想的一样减小。ResNet网络提出了残差网络结构(Residual Network)来减轻退化问题。
2024-07-05 11:34:44
37
转载 昇思25天学习打卡营第11天|xkd007|计算机视觉应用实践（2）-ResNet50迁移学习
在实际应用场景中，由于训练数据集不足，所以很少有人会从头开始训练整个网络。普遍的做法是，在一个非常大的基础数据集上训练得到一个预训练模型，然后使用该模型来初始化网络的权重参数或作为固定特征提取器应用于特定的任务中。本章将使用迁移学习的方法对ImageNet数据集中的狼和狗图像进行分类。迁移学习详细内容见。
2024-07-04 12:39:30
61
原创 昇思25天学习打卡营第10天|xkd007|计算机视觉应用实践（1）-FCN（全卷积网络）图像语义分割
FCN主要用于图像分割领域，是一种端到端的分割方法，是深度学习应用在图像语义分割的开山之作。通过进行像素级的预测直接得出与原图大小相等的label map（一个数据结构，用于将标签（或键）映射到它们对应的值）。因FCN丢弃全连接层替换为全卷积层网络所有层均为卷积层，故称为全卷积网络。知识拓展卷积神经网络（CNN）一般由①卷积层（Convolutional Layer）、②汇聚层（Pooling Layer）和③全连接层构成（Fully connected layer）；全卷积网络。
2024-07-03 13:20:32
1231
原创 昇思25天学习打卡营第9天|xkd007
AI编译框架分为两种运行模式，分别是动态图模式以及静态图模式。MindSpore默认情况下是以动态图模式运行，但也支持手工切换为静态图模式。
2024-07-02 11:39:52
786
原创 昇思25天学习打卡营第8天|xkd007
从网络构建中加载代码，构建一个神经网络模型。超参（Hyperparameters）是可以调整的参数（一般由人工指定），可以控制模型训练优化的过程，不同的超参数值可能会影响模型训练和收敛速度。目前深度学习模型多采用批量随机梯度下降算法进行优化，随机梯度下降算法（SGD）的原理如下：公式中，𝑛是批量大小（batch size），η是学习率（learning rate）。另外，𝑤𝑡为训练轮次𝑡中的权重参数，∇𝑙为损失函数的导数。除了梯度本身，这两个因子(批量大小𝑛、学习率η。
2024-07-01 10:29:29
1359
原创 昇思25天学习打卡营第7天|xkd007
自动微分主要解决的问题是将一个复杂的数学运算分解为一系列简单的基本运算，该功能对用户屏蔽了大量的求导细节和过程，大大降低了框架的使用门槛。此时如果想要屏蔽掉输出z对梯度的影响，即仍只求参数对loss的导数，可以使用。③ 完成后，由于需要使用函数式自动微分，需要将神经网络和损失函数的调用封装为一个前向计算函数。MindSpore使用函数式自动微分的设计理念，提供更接近于数学语义的自动微分接口。在这个模型中，𝑥为输入，𝑦为正确值，𝑤和𝑏是我们需要优化的参数。的功能，满足返回辅助数据的同时不影响梯度计算的效果。
2024-07-01 00:18:29
505
原创 昇思25天学习打卡营第06天|xkd007
① 当我们定义神经网络时，可以继承nn.Cell类，在__init__方法中进行子Cell的实例化和状态管理，在construct方法中实现Tensor操作。construct意为神经网络（计算图）构建，相关内容详见使用静态图加速。② 构建完成后，实例化Network对象，并查看其结构。③ 构造一个输入数据，直接调用模型，可以获得一个十维的Tensor输出，其包含每个类别的原始预测值。④ 在此基础上，我们通过一个nn.Softmax层实例来获得预测概率。
2024-06-29 08:42:23
668
原创 昇思25天学习打卡营第04天|xkd007
模块提供了一些常用的公开数据集和标准格式数据集的加载API。对于MindSpore暂不支持直接加载的数据集，可以构造自定义数据加载类或自定义数据集生成函数的方式来生成数据集，然后通过接口实现自定义方式的数据集加载。支持通过可随机访问数据集对象、可迭代数据集对象和生成器(generator)构造自定义数据集，下面分别对其进行介绍。
2024-06-28 10:33:49
434
原创 昇思25天学习打卡营第3天|xkd007
在某些应用场景中（比如推荐系统、分子动力学、图神经网络等），数据的特征是稀疏的，若使用普通张量表征这些数据会引入大量不必要的计算、存储和通讯开销。张量之间有很多运算，包括算术、线性代数、矩阵处理（转置、标引、切片）、采样等，张量运算和NumPy的使用方式类似，下面介绍其中几种操作。张量的属性包括形状、数据类型、转置张量、单个元素大小、占用字节数量、维数、元素个数和每一维步长。普通算术运算有：加（+）、减（-）、乘（*）、除（/）、取模（%）、整除（//）。稀疏张量是一种特殊张量，其中绝大部分元素的值为零。
2024-06-27 12:06:10
822
原创 昇思25天学习打卡营第01天|xkd007
2024年6月25日 记。第一次使用昇思大模型平台，华为开源自研AI框架MindSpore。英文名和中文名一样晦涩难读，不知道是有什么深意。之前使用过百度的飞桨平台，学习《神经网络与深度学习：案例与实践》，不知道两个平台有什么异同之处，以待后续验证。也希望通过两个平台的交叉学习，对AI框架有更近一步认识、了解。
2024-06-25 17:33:19
342
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人