![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
昇思学习
文章平均质量分 83
xiandong20
这个作者很懒,什么都没留下…
展开
-
240713_昇思学习打卡-Day25-LSTM+CRF序列标注(4)
最后一天咯,做第四部分。原创 2024-07-13 18:52:30 · 234 阅读 · 0 评论 -
240712_昇思学习打卡-Day24-LSTM+CRF序列标注(3)
今天做LSTM+CRF序列标注第三部分,同样,仅作简单记录及注释,最近确实太忙了。原创 2024-07-12 16:21:48 · 538 阅读 · 0 评论 -
240711_昇思学习打卡-Day23-LSTM+CRF序列标注(2)
今天记录LSTM+CRF序列标注的第二部分。仅作简单记录。原创 2024-07-12 00:09:55 · 264 阅读 · 0 评论 -
240710_昇思学习打卡-Day22-条件随机场
比如此时给一个手放在键盘上的照片,你要猜他此时是在苦逼敲代码还是快乐打游戏。但如果之前给了一张照片,上面是屏幕上的内容,那么我们就可以结合上一张照片来更好的判断此时手在键盘上是干什么。CRF全称Conditional Random Field,按照名字来理解,条件随机,随机输入,条件输出。在正式开始LSTM+CRF序列标注之前,我们先来了解一下条件随机场,以下仅做简单介绍。线性CRF是最常用的,也是我们该序列标注任务中要用到的。就说明,当前状态仅和其前后相连接的状态和输入X相关。随机,就是随机输入。原创 2024-07-11 00:37:10 · 200 阅读 · 0 评论 -
240709_昇思学习打卡-Day21-文本解码原理--以MindNLP为例
Beam search通过在每个时间步保留最可能的 num_beams 个词,并从中最终选择出概率最高的序列来降低丢失潜在的高概率序列的风险。按照贪心搜索输出序列(“The”,“nice”,“woman”) 的条件概率为:0.5 x 0.4 = 0.2。缺点: 错过了隐藏在低概率词后面的高概率词,如:dog=0.5, has=0.9。选出概率最大的 K 个词,重新归一化,最后在归一化后的 K 个词中采样。2. 开放域生成效果差。增加高概率单词的似然并降低低概率单词的似然。将出现过的候选词的概率设置为 0。原创 2024-07-10 00:17:39 · 720 阅读 · 0 评论 -
240708_昇思学习打卡-Day20-MindNLP ChatGLM-6B StreamChat
基于MindNLP和ChatGLM-6B实现一个聊天应用,本文进行简单记录。原创 2024-07-09 02:19:58 · 258 阅读 · 0 评论 -
240707_昇思学习打卡-Day19-基于MindSpore通过GPT实现情感分类
今天基于GPT实现一个情感分类的功能,假设已经安装好了MindSpore环境。原创 2024-07-07 19:27:49 · 311 阅读 · 0 评论 -
240706_昇思学习打卡-Day18-基于MindSpore的GPT2文本摘要
今天做一个根据一段文章提取摘要的提取器,基于nlpcc2017摘要数据,内容为新闻正文及其摘要,就是训练集及标签。首先我们来预装以下MindSpore环境安装tokenizers和mindnlp。原创 2024-07-07 00:17:56 · 271 阅读 · 0 评论 -
240705_昇思学习打卡-Day17-基于 MindSpore 实现 BERT 对话情绪识别
BERT全称是来自变换器的双向编码器表征量(Bidirectional Encoder Representations from Transformers),它是Google于2018年末开发并发布的一种新型语言模型。与BERT模型相似的预训练语言模型例如问答、命名实体识别、自然语言推理、文本分类等在许多自然语言处理任务中发挥着重要作用。模型是基于Transformer中的Encoder并加上双向的结构,因此一定要熟练掌握Transformer的Encoder的结构。原创 2024-07-06 00:06:29 · 854 阅读 · 0 评论 -
240704_昇思学习打卡-Day16-基于MobileNetv2的垃圾分类
今天我们学习记录MobileNetv2网络,听这个名字就可以听出来,mobile嘛,多半就是针对移动端,还真就说对了,这个模型就是针对移动端的轻量级卷积神经网络,相比于传统卷积网络,其模型更小,计算效率更高。MobileNetv2网络的主要原理在于其采用了深度可分离卷积,在通道维度上和空间维度上分别进行卷积操作。提高了计算效率,减少了参数量。此外,该网络还采用了Inverted Residuals倒残差结构以及Linear Bottlenecks线性瓶颈结构。原创 2024-07-05 00:19:43 · 568 阅读 · 0 评论 -
240703_昇思学习打卡-Day15-K近邻算法实现红酒聚类
K近邻算法,是有监督学习中的分类算法,可以用于分类和回归,本篇主要讲解其在分类上的用途。原创 2024-07-03 22:48:19 · 1056 阅读 · 0 评论 -
240702_昇思学习打卡-Day14-基于MindNLP+MusicGen生成自己的个性化音乐
前面一致做的都是图像的,可视化比较强,可以有比较多的图片帮助理解,但今天这个是关于音频的生成,基本只有干巴巴的代码,我尽量描述清楚些。相关研究成果参考论文《首先我们来了解一下MusicGen,这个是Meta(前身是Facebook)推出的根据文字生成音乐的项目,其支持文生曲,曲生曲。用户可以通过修改描述词汇来生成不同风格的音乐。,这个网站可能需要大家自行优化一下网络,,不然不太好进。但进不了也没关系,咱们以下内容就是自己用代码实现这个东西。原创 2024-07-02 17:22:10 · 1036 阅读 · 0 评论 -
240701_昇思学习打卡-Day13-Vision Transformer图像分类
Transformer最开始是应用在NLP领域的,拿过来用到图像中取得了很好的效果,然后他就要摇身一变,就叫Vision Transformer。该部分内容还是参考大佬的视频及查阅资料,以下为本人学习总结,肯定没有大佬详尽,建议去看大佬视频。原创 2024-07-01 23:55:13 · 897 阅读 · 0 评论 -
240630_昇思学习打卡-Day12-Transformer中的Multiple-Head Attention
但是要问这个矩阵是怎么确定的,我暂时还不知道,大佬文章中也暂时没提到,我只是通过直接拆分的方法知道他的目标值,然后逆推导出的这个矩阵。在列上进行拼接后,还要把他两的结果进行在行上拼接(我也不知道我的措辞用反了没有,大家看图,上面是第一次拼接,下面图右下角是第二次拼接),然后在和。这个图里面的b大家可能忘了,这个b就是Self-Attention中求得的最后结果,在多头注意力这边,这个结果还要再进行计算。之后,再把这三个进行均分,有多少个Head就均分多少份,这里的均分就是直接拆分,比如。原创 2024-06-30 21:56:34 · 966 阅读 · 0 评论 -
240619_昇思学习打卡-Day1-损失函数_交叉熵损失函数
在模型训练过程中,我们需要关注损失值,使得其无限缩小,即预测值无限接近于真实值,故需要选择合适的损失函数。其中log是以e为底的,也就是ln,但我不知道为什么网上的教程全是写的log,刚学习时我还算了半天对不上数值,我这里就写ln了。参数意思是第一张图预测是猫的概率是0.6,不是猫的概率是0.4,第二张图预测是猫的概率是0.3,不是猫的概率是0.7,以此类推。当然,以上只是我们自己根据公式所手动写的交叉熵损失函数,一切都只是我们自以为是,在实际应用过程中,往往直接使用pytorch的。原创 2024-06-20 00:25:16 · 948 阅读 · 0 评论 -
240620_昇思学习打卡-Day2-FCN图像语义分割
这一部分主要对训练出来的模型效果进行评估,为了便于解释,假设如下:共有k+1个类(从 L0 到 Lk, 其中包含一个空类或背景), p_{i j} 表示本属于i类但被预测为j类的像素数量。即p_{i i}表示真正的数量, 而 p_{i j} p_{j i}则分别被解释为假正和假负, 尽管两者都是假正与假负之和。Pixel Accuracy(PA, 像素精度):这是最简单的度量,为标记正确的像素占总像素的比例。原创 2024-06-20 13:04:50 · 1356 阅读 · 0 评论 -
240621_昇思学习打卡-Day3-余弦退火+周期性重启+warm up
先展示一个完整的余弦退火+周期性重启+warm up调整学习率的流程(横轴为epoch,纵轴为学习率):我们换一个收敛较慢的图进行详细说明:在神经网络刚开始训练时,梯度较大,如果一开始就设置比较大的学习率的话,训练会极不稳定,导致不能得到较好的收敛效果,所以我们需要在最开始训练时将学习率保持在一个比较低的水平,让梯度先收敛到一定程度,然后再把学习率增大,可以有效提高收敛效果。这个过程称为网络训练的预热(warm up)余弦退火使用余弦函数可以达到一个较好的学习率衰减效果,具体来说,随着x的增加余弦值首先原创 2024-06-22 01:39:40 · 741 阅读 · 0 评论 -
240622_昇思学习打卡-Day4-ResNet50迁移学习
我们对事物的认知都是一点一点积累出来的,往往借助已经认识过的东西,可以更好地理解和认识新的有关联的东西。比如一个人会骑自行车,我们让他去骑摩托车他也很快就能学会,比如已经学会C++,现在让他去学python他也很容易就能理解。这种情况我们一般称为举一反三。反言之,我们从原始部落找出来一个人(仅作举例),指着摩托车让他骑,可能是一件特别难的事,因为他对这个领域没有丝毫的认知和理解,在实现这件事上就会特别困难。原创 2024-06-22 22:19:15 · 505 阅读 · 0 评论 -
240622_昇思学习打卡-Day4-5-ResNet50迁移学习
我们对事物的认知都是一点一点积累出来的,往往借助已经认识过的东西,可以更好地理解和认识新的有关联的东西。比如一个人会骑自行车,我们让他去骑摩托车他也很快就能学会,比如已经学会C++,现在让他去学python他也很容易就能理解。这种情况我们一般称为举一反三。反言之,我们从原始部落找出来一个人(仅作举例),指着摩托车让他骑,可能是一件特别难的事,因为他对这个领域没有丝毫的认知和理解,在实现这件事上就会特别困难。原创 2024-06-24 00:24:30 · 766 阅读 · 0 评论 -
240624_昇思学习打卡-Day6-张量Tensor
今儿扭头回来看看基础,看看最基本的数据结构,张量(Tensor)。张量和数组、矩阵非常相似。是MindSpore网络运算中的基本数据结构,本文主要介绍张量和稀疏张量的属性及用法。原创 2024-06-24 23:55:04 · 814 阅读 · 0 评论 -
240625_昇思学习打卡-Day7-使用静态图加速
AI编译框架分为两种运行模式,分别是动态图模式以及静态图模式。MindSpore默认情况下是以动态图模式运行,但也支持手工切换为静态图模式。原创 2024-06-25 17:58:59 · 1037 阅读 · 0 评论 -
240626_昇思学习打卡-Day8-稀疏矩阵
在一些应用场景中,比如训练二值化图像分割时,图像的特征是稀疏的,使用一堆0和极个别的1表示这些特征即费事又难看,此时就可以使用稀疏矩阵。原创 2024-06-26 20:50:33 · 823 阅读 · 0 评论 -
240627_昇思学习打卡-Day9-ResNet50图像分类
传统CNN网络均是由一系列卷积、池化、全连接层叠加而成,在反向传播过程中梯度往往是连乘得操作,这种情况下可能就会出现梯度消失或梯度爆炸的问题。梯度消失:梯度小于1,小于1的数连乘后无限趋近于0。靠近输入层的参数w根本不动。梯度爆炸:梯度大于1,大于1的数连乘后趋近于无穷。靠近输入层的参数w来回震荡。出现这种情况后,往往添加神经网络的层数可能还不如浅层网络训练的效果好,这就制约了CNN的发展注:图中情况不是过拟合,过拟合是训练集误差低,测试集误差高,这个情况是训练集和测试集上的误差均高于浅层网络。原创 2024-06-27 15:43:03 · 957 阅读 · 0 评论 -
240628_昇思学习打卡-Day10-SSD目标检测
今天我们来看SSD(Single Shot MultiBox Detector)算法,SSD是发布于2016年的一种目标检测算法,使用的是one-stage目标检测网络,意思就是说它只需要一步,就能把目标检测出来。原创 2024-06-28 23:29:07 · 714 阅读 · 0 评论 -
240629_昇思学习打卡-Day11-Vision Transformer中的self-Attention
在了解Vision Transformer之前,我们需要先了解一下Transformer,Transformer最开始是应用在NLP领域的,拿过来用到Vision中就叫Vision Transformer。而这里要提到的,就是Transformer中的self-Attention(自注意力)和Multiple-Head Attention(多头注意力)。原创 2024-06-29 21:46:21 · 861 阅读 · 0 评论