![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
pytorch
落雪snowflake
未来的博士!正在努力申请英国Phd!
展开
-
手动构建线性回归(PyTorch)
假设函数、损失函数、优化方法#损失函数:平均损失#优化方法:梯度下降原创 2024-07-16 22:11:19 · 420 阅读 · 0 评论 -
控制梯度计算(pytorch)
什么时候会用控制梯度计算了,在训练的时候模型需要梯度计算,训练完毕不需要。所以需要控制什么时候计算什么时候不计算。原创 2024-07-16 19:22:29 · 292 阅读 · 0 评论 -
神经网络基础--网络参数初始化(PyTorch)
网络参数初始化1.均匀分布初始化,权重参数初始化从区间均匀随机取值,即在(-1/根号d,1/根号d)均匀分布中生成当前神经元的权重,其中d为每个神经元的输入数量2.正态分布初始化,随机初始化从均值为0,标准差为1是高斯分布中取样,使用一些很小的值对参数w进行初始化。3.全0初始化,将神经网络中的所有权重初始化为04.全1初始化,将神经网络中所有权重参数初始化为1.5.固定值初始化,将神经网络中所有权重参数初始化为某个固定的值.6..kaiming初始化,也叫做HE初始化,HE初始化分为正态分布的原创 2024-07-16 19:20:25 · 303 阅读 · 0 评论