深度学习理论
文章平均质量分 95
RP_M
千里之行,始于足下
展开
-
图神经网络-GCN
GCN翻译 2022-07-07 18:08:34 · 1453 阅读 · 0 评论 -
DeepLearning:Train and Test Records on ResNet-18 Model
ResNet-18:Train and Test Records文章目录ResNet-18:Train and Test Records一、固定学习率1、LR=0.1 (SGD+M!!!)不同optim1.SGD实验1.1-SGD实验1.2-SGD+M=0.9实验1.3-SGD+M=0.9+weight_decay=1e-3实验1.4-SGD+M=0+Nestrrov=True实验1.5-SGD+M=0.9+Nesterov=True2.Adam实验1.6-Adam3.Adagrad实验1.7-Adagr原创 2021-11-20 13:45:51 · 2170 阅读 · 3 评论 -
DeepLearning:训练神经网络—学习率及BatchSize
训练神经网络—学习率及batchSize文章目录训练神经网络—学习率及batchSize1、学习率(Learning Rate)定义调整策略人工调整策略策略调整学习率固定学习率衰减分段减缓分数减缓指数减缓余弦周期减缓自适应学习率衰减Pytorch实现1.lr_scheduler.StepLR2.lr_scheduler.MultiStepLR3.lr_scheduler.ExponentialLR4.lr_scheduler.CosineAnnealingLR5.lr_scheduler.ReduceLR原创 2021-11-16 12:18:36 · 2556 阅读 · 0 评论 -
DeepLearning:训练神经网络—梯度下降优化器(optimizer)
训练神经网络—梯度下降优化器(optimizers)文章目录训练神经网络—梯度下降优化器(optimizers)1、optimizer简介定义分类一阶优化算法二阶优化算法优化器伪代码2、SGD(随机梯度下降)背景Q&A定义伪代码3、SGD+Momentum(SGD结合动量)定义公式示意图伪代码4、Nesterov Momentum(梯度加速法)背景定义公式示意图伪代码5、AdaGrad背景伪代码6、RMSProp(Leaky AdaGrad)背景伪代码7、Adam背景Adam(almost)Ada原创 2021-11-16 10:37:16 · 1233 阅读 · 0 评论 -
DeepLearning:训练神经网络—归一化(Normalization)
训练神经网络—Normalization文章目录训练神经网络—NormalizationNormalization出现背景Batch Normalization定义作用BatchNorm:Train-TimeBatchNorm:Test-TimeBatchNorm用于不同网络1.全连接网络中的BatchNorm2.卷积神经网络中的BatchNorm3.循环神经网络中的BatchNorm其它NormalizationInstance NormLayer NormGroup NormGroup NormNo原创 2021-11-15 18:51:40 · 970 阅读 · 0 评论 -
DeepLearning:训练神经网络—数据预处理及权重初始化
训练神经网络—数据预处理及权重初始化文章目录训练神经网络—数据预处理及权重初始化数据预处理(特征工程)1、Z-Score方法公式代码2、PCA主成分分析白化(Whitening)PCA白化ZCA白化总结数据标准化意义在CIFAR10上进行数据预处理权重初始化Q&A1、标准正态分布初始化2、Xavier初始化3、kaiming/MSRA 初始化总结数据预处理(特征工程) 由于我目前使用的数据集为公开数据集,很少涉及特征工程,不过在学习CS231N时还是学到了两个常见的特征工程方法,在此,原创 2021-11-15 16:40:52 · 1026 阅读 · 0 评论 -
DeepLearning:训练神经网络—激活函数的选择
训练神经网络—激活函数的选择文章目录训练神经网络—激活函数的选择1、Sigmoid函数Sigmoid函数表达式Sigmoid函数图像Sigmoid函数特点Sigmoid函数缺点2、双曲正切函数双曲正切函数表达式双曲正切函数图像双曲正切函数特点双曲正切函数缺点3、Relu函数及其变形Relu函数表达式Relu函数图像Relu函数特点Relu函数缺点**改进优化**增添偏置项Leaky ReluPRelu**RRelu**ERelu4、MaxoutMaxout表达式Maxout函数示意图(k=2)Maxout原创 2021-11-15 13:35:31 · 177 阅读 · 0 评论 -
DeepLearing:GAN生成式对抗网络
GAN 生成对抗网络一、介绍 GAN这一概念是由Lan Goodfellow于2014年提出,GAN被深度学习先驱之一的Yann LeCun称为“数十年来机器学习领域最有趣的想法。”原始GAN论文的链接为:https://link.zhihu.com/?target=https%3A//arxiv.org/pdf/1406.2661.pdf 我们知道CNN、RNN是通过建立图像与输出之间的关系来判断结果的一种网络映射。而GAN却是通过利用毫无意义的随机数据凭空捏造结果而非建立数据与输入映射关系..原创 2021-11-11 19:16:35 · 3806 阅读 · 0 评论