深度学习
文章平均质量分 75
云隐雾匿
这个作者很懒,什么都没留下…
展开
-
多层感知器介绍
多层感知器(Multi-layer Perceptron,MLP)是解决线性不可分问题的一种解决方案。多层感知器指的是堆叠多层线性分类器,并在中间层(也叫隐含层,Hid-den layer)增加非线性激活函数。例如,可以设计如下的多层感知器:等式中,ReLU(Rectified Linear Unit)是一种非线性激活函数, 其定义为当某一项输入小于0时,输出为0;否则输出相应的输入值,即W [i]和b [i]分别表示第i层感知器的权重和偏置项。原创 2023-04-13 20:37:16 · 1691 阅读 · 0 评论 -
神经网络中的参数初始化
神经网络中的参数初始化,这里我们介绍三类常用的随机初始化方法:基于固定方差的参数初始化、基于方差缩放的参数初始化和正交初始化方法。预训练初始化、随机初始化、固定值初始化。原创 2023-04-05 11:15:22 · 716 阅读 · 0 评论 -
神经网络优化中的学习率调整(下)
神经网络优化中的学习率调整,自适应调整学习率的方法,例如AdaGradRM、Sprop、AdaDelta等。学习率衰减、学习率预热、周期性学习率调整方法原创 2023-03-28 11:33:26 · 784 阅读 · 0 评论 -
神经网络优化中的学习率调整(上)
神经网络优化中的学习率调整,包括学习率衰减、学习率预热、周期性学习率调整等几种方法原创 2023-03-27 11:58:51 · 1373 阅读 · 0 评论 -
Pytorch模型参数的保存和加载
Pytorch模型参数的保存和加载原创 2023-03-10 17:52:31 · 1552 阅读 · 0 评论 -
PyTorch在GPU上跑代码需要迁移哪些东西?
PyTorch在GPU上跑代码需要迁移哪些东西到GPU中?使用GPU训练时,数据、函数和模型都必须同时放在GPU上,否则会出错。原创 2023-02-16 12:47:09 · 1325 阅读 · 0 评论 -
深度学习Pytorch代码框架推荐(入门推荐)
深度学习Pytorch代码框架推荐更有条理的代码转载 2023-01-23 21:02:43 · 630 阅读 · 0 评论 -
深度学习pytorch代码流程模板(入门推荐)
深度学习pytorch代码流程模板(入门推荐)从参数定义,到网络模型定义,再到训练步骤,验证步骤,测试步骤,总结了一套较为直观的模板。转载 2023-01-23 20:14:17 · 1061 阅读 · 0 评论