![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Pytorch
文章平均质量分 74
BlackMan_阿伟
不积跬步无以至千里
展开
-
Attention机制:self_attention的原理及代码实现
attention机制的核心思想就是想让我们关注我们需要关注的东西,而把不重要的东西忽略掉,如果我们在说一句话或者一段文字里有的文字描述只是为了核心思想做铺垫,而attention机制的思想就是说我们根本不care铺垫的内容,我们只想把最核心的东西突出,因为核心的观点是对这段文字有最大的贡献值。那么attention机制开始的时候是在NLP领域有比较广泛的应用,再后来在图像视觉的领域也有极大的应用。比如我们在进行分类的时候我们只想关注目标而忽略背景,这个思想和attention的核心思想就对的上了,所以在视原创 2021-05-15 13:04:22 · 1852 阅读 · 0 评论 -
Pytorch之保存和加载预训练的模型
在深度学习中会用到迁移学习的方法,也就是我们把在其它数据集上训练比较好的model拿到我们的模型上来进行finetune,这样避免了我们重新去花费时间去训练模型,比如vgg16提取图像特征的这个模型,大大节省了我们训练的时间。这个过程我们就涉及到加载预训练的模型,有的时候我们需要加载整个模型,有时候我们需要模型的一个部分,因此在本文中将会对在Pytroch这个框架中如何加载预训练的模型做以阐述。说到加载预训练好的模型那就不得不说我们如何保存训练好的模型,训练一个model,将这个训练的结果保存起来,然后再测原创 2020-11-15 23:09:06 · 1968 阅读 · 1 评论 -
Pytorch激活函数之Relu家族:ReLU、LeakyReLU等
昨天在听师弟师妹分享图卷积神经网络一篇paper的时候,看到一个激活函数LeakyReLU,因此萌生了学习一下的想法。1、为什么需要非线性激活函数?首先这个问题其实可以拆分成个问题:①为啥需要激活函数?②为啥还是非线性的激活函数?对于第一个问题来说,在神经网络中,我们增加了激活函数就是想增加模型的学习能力,让表达的能力增强而不只是简单的线性组合。对于第二个问题来说,因为如果是线性的激活函数,比如y=kx(k≠0),那么经过三层激活以后其实学到的东西很有限,可能仅仅堆叠多个线性层。总而言之原创 2020-11-11 15:43:12 · 12327 阅读 · 1 评论 -
关于Pytorch中model.train()和model.eval()的详解
模型训练 model.train() 启用Dropout和BatchNormalization Droupout=True BatchNormalization=True 训练过程中会以一定的概率丢掉网络连接的节点 模型测试 model.eval() 不启用Dropout和BatchNormalization Dropout=False BatchNormalization=False 测试过程中不会丢掉网络连接的节点 为啥使用BatchNormalizati原创 2020-10-30 20:18:01 · 1106 阅读 · 4 评论 -
Pyroch损失函数之BCELoss
这也是最近在做的一个模型中的损失函数,所有就一探究竟了解一下这个函数。首先它是一个二分类损失函数。可以是单标签的损失函数也可是多标签的损失函数。1、单标签这个图像是不是猫:1代表是,0代表不是。这就是单标签的二分类问题。2、多标签和单标签一样,不过这个是多标签而已,所以它的label就是[1,1]。第一列代表有没有狗,第二列代表有没有猫。所以也称之为二进制交叉熵。3、BCELoos损失函数class torch.nn.BCELoss(weight: Optional[to.原创 2020-07-02 15:46:28 · 19149 阅读 · 8 评论 -
Pytorch中的损失函数:CrossEntropyLoss和NLLLoss的区别
在网上也浏览了很多的博客,很多博主都从熵和信息量开始介绍,因为最近在使用损失函数过程中遇到一点问题,因此就想一探究竟到底pytorch中的交叉熵损失函数是如何计算的,所有最简单的从公式和代码开始看。接下来直接介绍这两个函数:1、NLLLossclass torch.nn.NLLLoss(weight=None, size_average=True)作用:训练一个n类的分类器 参数 weight:可选的,应该是一个tensor,里面的值对应类别的权重,如果样本不均衡的话,这个参数非常有用,长原创 2020-06-29 16:32:55 · 2736 阅读 · 2 评论