![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
Nastu_Ho-小何同学
这个作者很懒,什么都没留下…
展开
-
Pytorch动态调整学习率
poly学习策略当power<0,呈现为凸函数,随着epoch增加,学习率下降速率由慢变快当power >1,呈现为凹函数,随着epoch增加,学习率下降速率由快变慢def adjust_lr_poly(optimizer, epoch, num_epochs, base_lr, power=0.9) lr = base_lr * (1-epoch/num_epochs)**power for param_group in optimizer.param_groups:原创 2021-04-17 20:45:37 · 381 阅读 · 0 评论 -
pytorch 实现 SE Block
pytorch 实现 SE Block论文模块图代码论文模块图代码import torch.nn as nnclass SE_Block(nn.Module): def __init__(self, ch_in, reduction=16): super(SE_Block, self).__init__() self.avg_pool = nn.A...原创 2019-12-27 16:44:15 · 6736 阅读 · 2 评论 -
深度学习入门知识整理与回顾
激活函数----将输入信号的总和转换为输出信号的函数,称为激活函数,其作用在于决定如何来激活输入信号的总和。神经网络的激活函数必须要使用非线性函数。若为线性,这加深神经网络的层数就没意义了。输出层的激活函数,一般来说:回归类----恒等函数;二元分类----sigmod函数;多元分类----softmax函数。softmax函数的输出实在0到1之间的实数,输出总和为1.softmax输出可...原创 2019-02-20 22:34:43 · 139 阅读 · 0 评论 -
TensorFlow学习中的知识整理与回顾1
$这些是在书中中摘抄的笔记,再从笔记挑选些出来的,如果发现有什么错误或者觉得有更多需要了解知识,希望留下评论。TensorFlow程序一般可分为两个阶段----一为定义计算图的所有计算。二为执行计算。在TensorFlow程序中,系统会自动维护一个默认的计算图,通过tf.get_default_graph函数可以获得当前默认的计算图。TensorFlow还支持通过tf.Graph函数来生成...原创 2019-02-20 23:52:41 · 87 阅读 · 0 评论 -
关于使用pytorch验证时报显存而训练时正常的解决方案
尽管验证时用了model.eval(),但还是要用上 with torch.no_grad(): predict = model(input)原创 2019-08-07 10:46:31 · 607 阅读 · 2 评论 -
最大池化与平均池化的选择
在目标对象是偏向于纹理、轮廓是,选用最大池化较好在目标对象时偏向于背景或其他信息是,选用平均池化较好在可以在较浅层使用最大池化,用来过滤无用的信息,在较深层使用平均池化,防止丢掉太多高维信息...原创 2019-08-09 14:32:39 · 4412 阅读 · 0 评论