基础知识
nefetaria
菜鸟起飞
展开
-
常用写法小总结
1Numpy,Tensor,CPU,GPU对象之间的相互转换1)导入需要的模块、import torchimport numpy as npfrom torch.autograd import Variable 2)tensor间的转换转载 2021-06-01 22:28:27 · 167 阅读 · 0 评论 -
【基础知识】GAN 基本原理以及数学证明
转自:https://www.cnblogs.com/jeffersonqin/p/13671232.htmlGAN概述2014 年,Ian Goodfellow 和他在蒙特利尔大学的同事发表了一篇震撼学界的论文。没错,我说的就是《Generative Adversarial Nets》,这标志着生成对抗网络(GAN)的诞生,而这是通过对计算图和博弈论的创新性结合。他们的研究展示,给定充分的建模能力,两个博弈模型能够通过简单的反向传播(backpropagation)来协同训练。这两个模型的角色转载 2020-12-25 17:15:37 · 951 阅读 · 0 评论 -
【损失函数】MSE, MAE, Huber loss详解
转载:https://mp.weixin.qq.com/s/Xbi5iOh3xoBIK5kVmqbKYA https://baijiahao.baidu.com/s?id=1611951775526158371&wfr=spider&for=pc无论在机器学习还是深度领域中,损失函数都是一个非常重要的知识点。损失函数(Loss Function)是用来估量模型的预测值 f(x) 与真实值 y 的不一致程度。我们的目标就是最小化损失函数,让 f(x) 与 y 尽量接...转载 2020-12-15 19:51:59 · 36972 阅读 · 4 评论 -
【基础知识】Warmup预热学习率
转载:https://blog.csdn.net/sinat_36618660/article/details/99650804学习率是神经网络训练中最重要的超参数之一,针对学习率的优化方式很多,Warmup是其中的一种(一)、什么是Warmup?Warmup是在ResNet论文中提到的一种学习率预热的方法,它在训练开始的时候先选择使用一个较小的学习率,训练了一些epoches或者steps(比如4个epoches,10000steps),再修改为预先设置的学习来进行训练。(二)、为什么使用War转载 2020-11-27 00:43:35 · 9154 阅读 · 0 评论 -
【基础知识】FPN分割代码分析
转载:语义分割网络 - FPN 结构及代码初识 FPNFPN 全称 Feature Pyramid Network,翻译过来就是特征金字塔网络。何为特征金字塔,深度卷积神经网络(DCNN)提取的不同尺度特征组成的金字塔形状。本文提出了一种新型的特征融合方式,虽然距离论文提出的时间比较久了,但直到现在该结构仍较常用,尤其是在检测小目标时值得一试。本篇论文的目的是为了合理利用特征金字塔中不同尺度的语义信息。实际上在本篇文章之前,已经有很多特征融合的方式,本文开篇就介绍了各种多尺度特征的融合方式:转载 2020-10-23 19:18:00 · 2588 阅读 · 0 评论