beautiful77moon的博客

1. ResNet模型2. 左图为18层，34层模型的一个残差块，右图为50层，101层，152层的残差块3. 18层，34层的残差块（虚线部分表示输入要进行一次下采样操作）4. 50，101，152层的残差块5. 34层的模型结构图：...

1. VGG模型2. 用2次3*3卷积代替5*5卷积，3次3*3卷积代替7*7卷积。（1）卷积结果对应原图的感受野计算： (F(i)表示第i层的感受野，如果是最上层的就是1，如果多次卷积就多次迭代计算。) 例如：三次3*3卷积代替7*7卷积 F=1, F3=(1-1)*1+3=3, F2=(3-1)*1+3=5, F1=(5-1)*1+3=7（2） 参数量对比 ① 7*7： 7*7*channels*channels=49...

1. 网络模型（论文是用两块gpu并行训练的，所以图中的模型是上下两部分的，第一层卷积核的个数是48+48=96）2. 模型参数3. 模型代码import torch.nn as nnimport torchclass AlexNet(nn.Module): def __init__(self, num_classes=1000, init_weights=False): super(AlexNet, self).__init__() .

导致过拟合的原因：训练网络的数据量太少；网络神经元太多；解决过拟合：增加训练时的数据量；正规化；dropout（每次随机丢弃一定数量的neuron，防止对神经元的过分依赖）1. 训练过程用两个不同的网络测试，动图如下：（自己截动图很麻烦，所以从网上拿来的）2. 自己运行的结果图如下：可以看到没加dropout的网络几乎照顾到了每一个训练数据（过拟合），但是对测试数据来说效果就很差...

1. AutoEncoder: 给特征属性降维2. Data---->压缩(提取Data的关键信息，减小网络的运算压力)---->data(具有代表性的特征)---->解压(还原数据信息)---->Pred_Data3. 使用Mnist数据集训练，将数据先压缩再解压，并用训练集的前5张图片可视化训练的过程，过程图和结果图如下：可视化训练集前200张图片的预测...

用sin曲线你个cos上的数据：# 用sin曲线拟合cos曲线上的数据import torchimport torch.nn as nnimport numpy as npimport matplotlib.pyplot as plttorch.manual_seed(1)# Hyper parametersTIME_STEP=10INPUT_SIZE=1 ...

图片如下：# RNN循环神经网络 分类 （时间顺序，图片从上往下读取）import torchimport torch.nn as nnimport torchvision.datasetsimport torchvision.transforms as transformsimport matplotlib.pyplot as pltimport torch.utils....

数字识别#数字识别import torchimport torch.nn as nnimport torch.utils.data as Dataimport torchvisionimport matplotlib.pyplot as plttorch.manual_seed(1)# Hyper ParametersEPOCH = 1BATCH_SIZE = 50...

对比各种优化器的效果数据分布如下图：import torchimport torch.utils.data as Dataimport torch.nn.functional as Funcfrom matplotlib import pyplot as plttorch.manual_seed(1)#hyper parametersLR=0.01BATCH_SIZ...

import torchimport torch.utils.data as Data #用于小批训练torch.manual_seed(1) #为cpu设置随机种子，使多次运行结果一致# torch.cuda.manual_seed(seed) #为当前GPU设置随机种子#torch.cuda.manual_seed_all(seed) #为所有GPU设置随机种子Ba...

#获取和读取数据import torchimport torch.nn as nnimport pandas as pd #处理数据import All_function as func #自定义包torch.set_default_tensor_type(torch.FloatTensor)train_data=pd.read_csv('Kaggle_...

一、描述神经网络如何通过简单的形式将一群数据用一条线在表示。找到数据之间的关系，然后通过神经网络模型来建立一个可以表示他们关系的曲线。二、步骤1.创建数据集：创建一些假数据来模拟。令,给y加上一些噪声。import torchimport matplotlib.pyplot as pltfrom torch.autograd import Variable#建立数...

一、什么是激活函数激活函数在深度学习中应用广泛。所谓激活函数，就是在神经网络的神经元上运行的函数，负责将神经元的输入(input layer)映射到输出端(output layer)，也就是对隐藏层(hidden layer)进行处理的函数。常见的激活函数包括sigmoid、tanh、relu、softplus和softmax函数。二、这些函数的图像这些函数的共同特点就是他们都是非线性...

一、Variable是什么？在torch中的Variable就是一个存放会变化的值的地理位置，里面的值会不断的变化。就像是一个装鸡蛋的篮子，里面的鸡蛋数会不停变动。就是torch里面的tensor会不断的变化，如果用Variable进行计算，那么返回的也是同一类型的Variable。import torchfrom torch.autograd import Variable#鸡蛋...

一、numpy和torchnumpy是python中处理数据的模块，可以处理各种的矩阵(matrix)。 Torch自称为神经网络中的numpy。它会将torch产生的tensor放在GPU中加速运算，就像numpy会把array放在CPU中加速运算。numpy和torch能很好的兼容，对于数据的运算形式也十分相似。numpy array和torch tensor之间也能很好的转换。二...

一、步骤1.创建数据import torchimport torch.nnimport matplotlib.pyplot as pltfrom torch.autograd import Variablex=torch.unsqueeze(torch.linspace(-1,1,100),dim=1)y=x**2+0.2*torch.rand(x.size())x=Vari...

一、描述：用简单的例子看一下神经网络是怎么分类的：二、步骤1.创建数据import torchimport matplotlib.pyplot as pltimport torch.functional as funcfrom torch.autograd import Variableimport torch.nn#有两组数据，一组数据属于分类1，一组数据属于分...