CV
文章平均质量分 91
RP_M
千里之行,始于足下
展开
-
图神经网络-GCN
GCN翻译 2022-07-07 18:08:34 · 1453 阅读 · 0 评论 -
DeepLearning:Train and Test Records on ResNet-18 Model
ResNet-18:Train and Test Records文章目录ResNet-18:Train and Test Records一、固定学习率1、LR=0.1 (SGD+M!!!)不同optim1.SGD实验1.1-SGD实验1.2-SGD+M=0.9实验1.3-SGD+M=0.9+weight_decay=1e-3实验1.4-SGD+M=0+Nestrrov=True实验1.5-SGD+M=0.9+Nesterov=True2.Adam实验1.6-Adam3.Adagrad实验1.7-Adagr原创 2021-11-20 13:45:51 · 2170 阅读 · 3 评论 -
DeepLearning:训练神经网络—学习率及BatchSize
训练神经网络—学习率及batchSize文章目录训练神经网络—学习率及batchSize1、学习率(Learning Rate)定义调整策略人工调整策略策略调整学习率固定学习率衰减分段减缓分数减缓指数减缓余弦周期减缓自适应学习率衰减Pytorch实现1.lr_scheduler.StepLR2.lr_scheduler.MultiStepLR3.lr_scheduler.ExponentialLR4.lr_scheduler.CosineAnnealingLR5.lr_scheduler.ReduceLR原创 2021-11-16 12:18:36 · 2556 阅读 · 0 评论 -
DeepLearning:训练神经网络—梯度下降优化器(optimizer)
训练神经网络—梯度下降优化器(optimizers)文章目录训练神经网络—梯度下降优化器(optimizers)1、optimizer简介定义分类一阶优化算法二阶优化算法优化器伪代码2、SGD(随机梯度下降)背景Q&A定义伪代码3、SGD+Momentum(SGD结合动量)定义公式示意图伪代码4、Nesterov Momentum(梯度加速法)背景定义公式示意图伪代码5、AdaGrad背景伪代码6、RMSProp(Leaky AdaGrad)背景伪代码7、Adam背景Adam(almost)Ada原创 2021-11-16 10:37:16 · 1233 阅读 · 0 评论 -
DeepLearning:训练神经网络—归一化(Normalization)
训练神经网络—Normalization文章目录训练神经网络—NormalizationNormalization出现背景Batch Normalization定义作用BatchNorm:Train-TimeBatchNorm:Test-TimeBatchNorm用于不同网络1.全连接网络中的BatchNorm2.卷积神经网络中的BatchNorm3.循环神经网络中的BatchNorm其它NormalizationInstance NormLayer NormGroup NormGroup NormNo原创 2021-11-15 18:51:40 · 970 阅读 · 0 评论 -
DeepLearning:训练神经网络—数据预处理及权重初始化
训练神经网络—数据预处理及权重初始化文章目录训练神经网络—数据预处理及权重初始化数据预处理(特征工程)1、Z-Score方法公式代码2、PCA主成分分析白化(Whitening)PCA白化ZCA白化总结数据标准化意义在CIFAR10上进行数据预处理权重初始化Q&A1、标准正态分布初始化2、Xavier初始化3、kaiming/MSRA 初始化总结数据预处理(特征工程) 由于我目前使用的数据集为公开数据集,很少涉及特征工程,不过在学习CS231N时还是学到了两个常见的特征工程方法,在此,原创 2021-11-15 16:40:52 · 1026 阅读 · 0 评论 -
DeepLearing:GAN生成式对抗网络
GAN 生成对抗网络一、介绍 GAN这一概念是由Lan Goodfellow于2014年提出,GAN被深度学习先驱之一的Yann LeCun称为“数十年来机器学习领域最有趣的想法。”原始GAN论文的链接为:https://link.zhihu.com/?target=https%3A//arxiv.org/pdf/1406.2661.pdf 我们知道CNN、RNN是通过建立图像与输出之间的关系来判断结果的一种网络映射。而GAN却是通过利用毫无意义的随机数据凭空捏造结果而非建立数据与输入映射关系..原创 2021-11-11 19:16:35 · 3806 阅读 · 0 评论 -
DeepLearing:CIFAR10数据集介绍
CIFAR-10数据集介绍 由于最近几周老师让自己跑的都是CIFAR10数据集所以就大概了解了一下该数据集,记录一下。简介 CIFAR10数据及是由Alex Krizhevsky, Vinod Nair, and Geoffrey Hinton教授收集整理成的,这是一个适用于普适物体识别的计算机视觉数据集。数据集下载地址https://www.cs.toronto.edu/~kriz/cifar.html特点数据集组成 该数据是从真实自然界中收集而来的,主要来自google和各类搜索引原创 2021-11-11 14:58:59 · 2449 阅读 · 0 评论 -
Paper2:VGG Notes
Paper2:VGG Notes 本模型源于论文:《Very Deep Convolutional Networks for Large-Scale Image Recognition》背景 VGG名字是由牛津大学(Oxford)的Visual Geometry Group组提出的。VGG在2014年的ImageNet分类竞赛中获得了亚军(分类冠军是 GoogleNet),定位竞赛中获得了冠军,虽然在分类竞赛中获得了亚军,但其影响力一点也不低于冠军GoogleNet。该模型简洁,将常规、经典、续贯原创 2021-11-11 13:02:06 · 2173 阅读 · 0 评论 -
DeepLearning:使用Pytorch搭建神经网络
使用Pytorch搭建神经网络nn.Moudlenn.Moudle含义 nn.Moudle是所有神经网络模型的父类,我们自己定义的模型应当是nn.Moudle的子类,在我们编写自己的模型时,务必要记得继承该类。同时,我们必须重写init方法与forward前向传播方法,以完成我们自己的网络。代码实战import torch.nn as nnimport torch.nn.functional as Fclass Model(nn.Module): def __init__(self原创 2021-11-09 15:24:44 · 1619 阅读 · 0 评论 -
DeepLearing:在Pytorch中保存与调用模型
CV-模型的保存与读取调用我在ComputerVisionModels中的basicknowledge文件夹下新建了一个Save&UseNet子文件夹,本节相关代码放入其中,具体GitHub源码地址:github.com/RP0929/模型的保存 在使用神经网络进行训练时,我们需要把好的结果及那一轮的参数保存下来,因此模型的保存十分重要。模型的保存有不同的方式: 首先创建model_save.py文件,导入相关包: .原创 2021-11-05 22:39:19 · 569 阅读 · 0 评论 -
Papper1:ResNet Notes
ResNet Notes1、本篇论文的背景:这篇文章是2016年CVPR的最佳论文,作者是来自微软亚洲研究院的何恺明,张祥雨,任少卿和孙剑。这篇论文题目是《Deep Residual Learning for Image Recognition(用于图像识别的深度残差学习)》,文章中提到的深度残差网络ResNet在2015年ImageNet和CoCo两个竞赛的五个赛道中都获得了冠军。2、ResNet主要解决的核心问题是网络退化和训练问题,主要解决办法是引入了残差模块。在文章中,没有引入残差模块的..原创 2021-10-22 17:53:44 · 445 阅读 · 0 评论