- 博客(25)
- 收藏
- 关注
RSS订阅原创 昇思25天学习打卡营第25天|文本解码原理--以MindNLP为例
今天学习了文本解码原理的相关知识。首先回顾了自回归语言模型的定义。自回归语言模型是一种基于概率的语言模型，它的主要目标是预测一个序列中的下一个词或字符。然后我学习了多种用于在生成文本时选择下一个词或字符的方法如Beam search，Sample，TopK sample等等和它们的优劣。现在只是初步了解，还需要进一步的学习。
2024-07-24 22:14:49
713
原创 昇思25天学习打卡营第24天|LSTM+CRF序列标注
序列标注指给定输入序列，给序列中每个Token进行标注标签的过程。序列标注问题通常用于从文本中进行信息抽取，包括分词(Word Segmentation)、词性标注(Position Tagging)、命名实体识别(Named Entity Recognition, NER)等。输入序列清华大学座落于首都北京输出标注BIIIOOOOOBI如上表所示，清华大学和北京是地名，需要将其识别，我们对每个输入的单词预测其标签，最后根据标签来识别实体。
2024-07-23 17:35:14
366
原创 昇思25天学习打卡营第23天|MindNLP ChatGLM-6B StreamChat
本案例基于MindNLP和ChatGLM-6B实现一个聊天应用。今天学习了如何利用MindNLP和ChatGLM-6B来构建一个聊天应用的相关代码。通常查阅资料，我了解到ChatGLM-6B是由清华大学和智谱AI联合研发的产品，是一个开源的、支持中英双语的对话语言模型。这个模型使用了和ChatGPT相似的技术，针对中文问答和对话进行了优化。
2024-07-22 17:12:46
338
原创 昇思25天学习打卡营第22天|基于MindSpore通过GPT实现情感分类
今天学习了如何通过GPT实现情感分类的相关知识。GPT模型（Generative Pre-trained Transformer模型）是一种基于Transformer架构的深度学习模型，由OpenAI开发。它在自然语言处理（NLP）领域取得了显著的成就。GPT模型利用了大规模无监督的预训练来学习语言表示，然后可以通过微调适应特定的监督式任务。总之，通过学习如何利用GPT进行情感分类，我不仅初步了解了一种强大的模型，还深入了解了如何应用该模型解决实际的问题。
2024-07-21 22:14:02
544
原创 昇思25天学习打卡营第21天|Pix2Pix实现图像转换
Pix2Pix是基于条件生成对抗网络（cGAN, Condition Generative Adversarial Networks ）实现的一种深度学习图像转换模型，该模型是由Phillip Isola等作者在2017年CVPR上提出的，可以实现语义/标签到真实图片、灰度图到彩色图、航空图到地图、白天到黑夜、线稿图到实物图的转换。生成器和判别器。传统上，尽管此类任务的目标都是相同的从像素预测像素，但每项都是用单独的专用机器来处理的。
2024-07-20 20:41:13
2130
原创 昇思25天学习打卡营第20天|基于MindNLP+MusicGen生成自己的个性化音乐
今天学习了如何利用MindNLP和MusicGen来生成个性化音乐的相关知识。MusicGen是来自Meta AI提出的基于单个语言模型的音乐生成模型，能够根据文本描述或音频提示生成高质量的音乐样本。在实践中，MusicGen 模型通常基于Transformers 架构的神经网络模型，用于处理和生成音乐序列数据。这些模型可以学习音乐的结构、风格和语法，并据此生成新的音乐作品。通过运行教程中的代码，我大致掌握了如何利用MusicGen生成个性化的音乐。期待进一步的学习。
2024-07-19 22:32:19
565
原创 昇思25天学习打卡营第19天|GAN图像生成
生成式对抗网络(Generative Adversarial Networks，GAN)是一种生成式机器学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。最初，GAN由Ian J. Goodfellow于2014年发明，并在论文生成器的任务是生成看起来像训练图像的“假”图像；判别器需要判断从生成器输出的图像是真实的训练图像还是虚假的图像。GAN通过设计生成模型和判别模型这两个模块，使其互相博弈学习产生了相当好的输出。GAN模型的核心在于提出了通过对抗过程来估计生成模型这一全新框架。
2024-07-18 17:49:52
834
原创 昇思25天学习打卡营第18天|基于MobileNetv2的垃圾分类
MobileNet网络是由Google团队于2017年提出的专注于移动端、嵌入式或IoT设备的轻量级CNN网络，相比于传统的卷积神经网络，MobileNet网络使用深度可分离卷积（Depthwise Separable Convolution）的思想在准确率小幅度降低的前提下，大大减小了模型参数与运算量。并引入宽度系数 α和分辨率系数 β使模型满足不同应用场景的需求。
2024-07-17 22:25:30
711
原创 昇思25天学习打卡营第17天|CycleGAN图像风格迁移互换
今天学习了CycleGAN的相关知识。通过学习这节课程和查阅相关资料，我了解到这个模型的重要应用是域迁移，它能够在两个不同的图像域之间进行转换，而无需配对的训练数据。同时，这个模型引入了循环一致性损失，确保了从一个域到另一个域再到原始域的图像转换保持一致性。这有助于生成更加逼真和合理的转换结果。
2024-07-16 18:02:44
972
原创 昇思25天学习打卡营第16天|K近邻算法实现红酒聚类
KNN算法的实现依赖于样本之间的距离，其中最常用的距离函数就是欧氏距离（欧几里得距离）。RnRn空间中的两点xxx和yyydxy∑i1nxi−yi2dxyi1∑nxi−yi2需要特别注意的是，使用欧氏距离时，应将特征向量的每个分量归一化，以减少因为特征值的尺度范围不同所带来的干扰，否则数值小的特征分量会被数值大的特征分量淹没。其它的距离计算方式还有Mahalanobis距离、Bhattacharyya距离等。
2024-07-15 21:25:08
900
原创 昇思25天学习打卡营第15天|Vision Transformer图像分类
近些年，随着基于自注意（Self-Attention）结构的模型的发展，特别是Transformer模型的提出，极大地促进了自然语言处理模型的发展。由于Transformers的计算效率和可扩展性，它已经能够训练具有超过100B参数的空前规模的模型。ViT则是自然语言处理和计算机视觉两个领域的融合结晶。在不依赖卷积操作的情况下，依然可以在图像分类任务上达到很好的效果。模型结构今天学习了如何完成了ViT模型并进行训练，验证和推理的过程。同时 ，我也对ViT模型结构和原理进行了学习。
2024-07-14 18:04:33
1739
原创 昇思25天学习打卡营第14天|ShuffleNet图像分类
今天学习了ShuffleNet图像分类的相关知识。通过课程，我认识到ShuffleNet 是一种专门为移动设备和嵌入式设备设计的轻量级神经网络架构， 使用了通道重排和分组卷积等技术它在保持较高分类精度的同时，显著减少了模型的计算和参数量。作为一种轻量级网络，它的精确度较低。在需要更高精度或者处理更复杂任务的场景下，可能需要考虑更复杂的模型。
2024-07-13 17:30:44
644
原创 昇思25天学习打卡营第13天|ResNet50图像分类
ResNet50网络是2015年由微软实验室的何恺明提出，获得ILSVRC2015图像分类竞赛第一名。在ResNet网络提出之前，传统的卷积神经网络都是将一系列的卷积层和池化层堆叠得到的，但当网络堆叠到一定深度时，就会出现退化问题。下图是在CIFAR-10数据集上使用56层网络与20层网络训练误差和测试误差图，由图中数据可以看出，56层网络比20层网络训练误差和测试误差更大，随着网络的加深，其误差并没有如预想的一样减小。
2024-07-12 17:45:40
1948
原创 昇思25天学习打卡营第12天|ResNet50迁移学习
今天学习了迁移学习的相关知识。我觉得迁移学习是机器学习中一种利用已经训练好的模型（通常是在大规模数据集上预训练的模型）来解决新的但相关的问题的技术。其核心思想是利用从一个任务中学到的知识来加速另一个相关任务的学习过程。除此之外，我还了解了关于ResNet50的相关知识。它是ResNet系列中的一员，其中的“50”表示网络中包含50个主要的卷积层。这几天学习的内容比较复杂，还需要留更多的时间来复习。
2024-07-11 21:49:31
374
原创 昇思25天学习打卡营第11天|FCN图像语义分割
FCN主要用于图像分割领域，是一种端到端的分割方法，是深度学习应用在图像语义分割的开山之作。通过进行像素级的预测直接得出与原图大小相等的label map。因FCN丢弃全连接层替换为全卷积层，网络所有层均为卷积层，故称为全卷积网络。这一部分主要对训练出来的模型效果进行评估，为了便于解释，假设如下：共有k1k+1k1个类（从L0L_0L0到LkL_kLk, 其中包含一个空类或背景），pijp_{i j}pij表示本属于iii类但被预测为jjj。
2024-07-10 17:18:08
812
原创 昇思25天学习打卡营第10天|基于 MindSpore 实现 BERT 对话情绪识别
今天学习了如何基于mindspore来实现BERT对话情绪识别的相关知识。BERT模型是基于Transformer中的Encoder并加上双向的结构，BERT模型的主要创新点都在预训练方法上，即用了Masked Language Model和Next Sentence Prediction两种方法。期待进一步的学习。
2024-07-08 22:59:27
802
原创 昇思25天学习打卡营第9天|使用静态图加速
背景介绍背景介绍AI编译框架分为两种运行模式，分别是动态图模式以及静态图模式。MindSpore默认情况下是以动态图模式运行，但也支持手工切换为静态图模式。一、动态图模式动态图的特点是计算图的构建和计算同时发生（Define by run），其符合Python的解释执行方式，在计算图中定义一个Tensor时，其值就已经被计算且确定，因此在调试模型时较为方便，能够实时得到中间结果的值，但由于所有节点都需要被保存，导致难以对整个计算图进行优化。在MindSpore中，动态图模式又被称为PyNativ
2024-07-06 19:09:37
535
原创 昇思25天学习打卡营第8天|保存与加载
今天主要学习了如何保存和加载之前的模型。其中我认为最重要的知识点是中间表示（IR）。中间表示是程序编译过程中介于源语言和目标语言之间的程序表示，以方便编译器进行程序分析和优化。通过IR，可以实现跨框架兼容性和优化和部署等功能。期待进一步的学习相关知识。
2024-07-05 17:43:10
166
原创 昇思25天学习打卡营第7天|模型训练
nn.ReLU(),nn.ReLU(),超参（Hyperparameters）是可以调整的参数，可以控制模型训练优化的过程，不同的超参数值可能会影响模型训练和收敛速度。wt1wt−η1n∑x∈B∇lxwtwt1wt−ηn1x∈B∑∇lxwt公式中，nnn是批量大小（batch size），ηηη是学习率（learning rate）。另外，wtw_{t}wt为训练轮次ttt中的权重参数，
2024-07-04 18:48:32
852
原创 昇思25天学习打卡营第6天|函数式自动微分
今天学习了函数式自动微分的内容。相比于其他求微分的方法，自动微分的优势在于将一个复杂的数学运算分解为一系列简单的基本运算，该功能对用户屏蔽了大量的求导细节和过程，大大降低了框架的使用门槛。这节的内容不仅对自动微分的相关接口进行了介绍，还告诉我如何在继承自nn.Cell的神经网络中进行自动微分。期待进一步的学习。
2024-07-03 20:38:46
911
原创 昇思25天学习打卡营第5天|网络构建
当我们定义神经网络时，可以继承nn.Cell类，在__init__方法中进行子Cell的实例化和状态管理，在construct方法中实现Tensor操作。# Flatten层，用于将输入数据展平为一维张量# 定义神经网络的层序列# 第一个全连接层，输入维度为28*28，输出维度为512nn.ReLU(), # ReLU激活函数# 第二个全连接层，输入维度为512，输出维度为512nn.ReLU(), # 另一个ReLU激活函数。
2024-07-02 21:59:02
343
原创 昇思25天学习打卡营第4天|数据变换 Transforms
今天学习了多种数据变换方法，主要有三类。第一类是通用的数据变换方法，以compose为代表。第二类是针对图像数据的变换方法，有Rescale，Normalize和HWC2CHW等等。第三类是针对文字数据的变换方法有PythonTokenizer和Lookup等。最后学习了一种特殊的函数，Lambda函数。通过对以上内容的学习，我进一步理解了在深度学习中是如何对数据进行处理的，在接下来的时间里，期待进一步的学习。
2024-07-01 18:51:54
1053
原创 昇思25天学习打卡营第3天|数据集 Dataset
模块提供了一些常用的公开数据集和标准格式数据集的加载API。对于MindSpore暂不支持直接加载的数据集，可以构造自定义数据加载类或自定义数据集生成函数的方式来生成数据集，然后通过接口实现自定义方式的数据集加载。支持通过可随机访问数据集对象、可迭代数据集对象和生成器(generator)构造自定义数据集，下面分别对其进行介绍。今天我深入学习了数据集的常用操作，从加载到预处理，这些步骤对于深度学习至关重要。数据质量直接影响整个深度神经网络的性能，因此正确处理数据非常关键。
2024-06-30 19:30:07
776
原创 昇思25天学习打卡营第2天|张量Tensor
张量（Tensor）是一个可用来表示在一些矢量、标量和其他张量之间的线性关系的多线性函数，这些线性关系的基本例子有内积、外积、线性映射以及笛卡儿积。在我看来，张量就是一个多维数组，是机器学习的基础。今天的学习内容主要是张量部分，了解了张量的基本定义，和如何创建张量，张量的各个属性，张量的运算等基本操作。对我来说，稀疏张量是比较重要的地方，学习了两种存储稀疏张量的方式：CSRTensor和COOTensor，通过查阅资料我了解到，这两种模式各有优劣。比如CSR格式只支持二维张量的存取，不支持多维张量。
2024-06-29 19:25:13
896
原创 昇思25天学习打卡营第1天|快速入门
为了进一步了解人工智能等概念，我报名参加了25天的昇思学习打卡营，希望在这25天里学到一些实用的知识和技能。第一天我主要了解了初学教程里面的基本介绍和快速入门部分。通过快速入门这一节的相关代码，我学会了如何利用MindSpore的API快速搭建一个简单而强大的深度学习模型。在学习的过程中，我不仅仅是照搬代码，而是深入理解每一行代码的作用和原理。通过查阅大量相关资料，我逐步领悟了如何处理数据、定义模型结构，并最终进行模型训练和评估。
2024-06-28 17:46:41
996
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人