weixin_49252254的博客

*提出了一种新的简单的网络架构，Transformer，完全基于注意力机制，完全取消了递归和卷积。*具有更强的并行性，并且需要的训练时间明显更少。模型架构Transformer遵循 encoder-decode结构Encoder-DecoderEncoder包括:多头注意力机制->add残差结构-> layer normalization->Feed Forward network->add残...

基于PyTorch实现 Inception-ResNet-V21、论文地址Inception-ResNet and the Impact of Residual Connections on Learning2 、网络框架本文github链接Stem1.框架图2.代码实现因为要经常用，所以先定义一个3x3卷积，1x1卷积class conv3x3(nn.Module): def __init__(self, in_planes, out_channels, stride=1,

基于PyTorch实现 Inception-ResNet-V11、论文地址Inception-ResNet and the Impact of Residual Connections on Learning2 、网络框架本文github链接Stem1.框架图2.代码实现因为要经常用，所以先定义一个3x3卷积，1x1卷积class conv3x3(nn.Module): def __init__(self, in_planes, out_channels, stride=1,

曲线拟合–动图版在jupyter notebook上无法显示动图网络存在梯度爆炸的可能，可以通过调节学习率，或者多运行几次避免不好的结果（知道曲线拟合为止），为了防止结果重复，就不固定随机种子了。import torchfrom torch import nn, optimfrom torch.autograd import Variableimport numpy as npimport matplotlib.pyplot as pltimport osimport torch.nn

线性网络拟合–动图版在jupyter notebook上无法显示动图import torchfrom torch import nn, optimfrom torch.autograd import Variableimport numpy as npimport matplotlib.pyplot as pltimport osimport itertoolsimport randomos.environ["KMP_DUPLICATE_LIB_OK"]="TRUE"# 定义线性模