![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Deep Learning
CrazyH2
这个作者很懒,什么都没留下…
展开
-
pytorch中nn.Sequential和ModuleList的使用
nn.Sequential内部实现了forward函数,因此可以不用写forward函数。而nn.ModuleList则没有实现内部forward函数。原创 2023-04-12 10:21:43 · 134 阅读 · 0 评论 -
net.train()和net.eval()的用法
那么它在训练时要以一定概率进行Dropout或者更新BatchNormalization参数,而在测试时不在需要Dropout或更新BatchNormalization参数。此时,要用net.train()和net.eval()进行区分。net.train()和net.eval()到底在什么时候使用?在没有涉及到BN与Dropout的模型,这两个函数没什么用。原创 2023-04-11 20:37:14 · 403 阅读 · 0 评论 -
batch normal与layer normal的区别
batch normal常用于CV领域, Layer Normalization常用于NLP领域。原创 2023-03-30 20:51:18 · 163 阅读 · 0 评论 -
深度学习中权重初始化的方法:Xavier initialization、He initialization
Xavier Initialization核心思想:正向传播时,激活值的方差保持不变;反向传播时,关于状态值的梯度的方差保持不变。He Initialization核心思想:正向传播时,状态值的方差保持不变;反向传播时,关于激活值的梯度的方差保持不变。Xavier假定激活函数在0附近为线性函数,这对于Relu是不成立的。he初始化是针对Relu激活函数的初始化方法。总结:Xavier假设激活函数关于0对称,在0附近为线性函数。适用于tanh和softsign激活函数。He初始化适用于Relu激原创 2023-03-30 11:07:21 · 337 阅读 · 0 评论 -
深度学习中的正则化(regularization)和归一化(normalization)的区别
半监督学习(semi-supervised learning)中一种常用的方法叫做一致性正则(Consistency Regularization),也是正则化的一个使用场景。在深度学习时往往会给最终的loss加入很多正则化项,为了使得模型达到最好的结果。主要是为了数据处理方便提出来的,把数据映射到0~1范围之内处理,更加便捷快速。大部分是指把数据变成(0,1)或者(-1,1)之间的小数。正则化是指为解决适定性问题或过拟合而加入额外信息的过程。转载 2023-03-30 09:51:29 · 304 阅读 · 0 评论 -
heatmap的理解
在深度学习领域,热图有助于了解一张图像的哪一部分让神经网络做出了最终的分类决策,热图的产生有两种方式,一是高斯热图,一个Grad-Cam产生的激活类热图。在非深度学习领域,热图指的是简单地聚合大量数据,并使用一种渐进的颜色来优雅的表现,以直观地展现空间数据的疏密程度或频率高低。原创 2023-03-29 11:01:51 · 412 阅读 · 0 评论 -
饱和非线性和非饱和非线性
饱和非线性:饱和的激活函数会将输出结果缩放到有限的区间。eg:sigmoid激活函数的范围是[0, 1],所以它是饱和的。非饱和非线性:非饱和的激活函数会将输出结果缩放到无穷区间.原创 2023-03-27 14:02:13 · 327 阅读 · 0 评论 -
anaconda安装本地bz2包,以D2L为例
有时候因为源或者网络的原因导致包下载失败,这时候可以下载包文件并使用本地安装的方式。原创 2023-03-16 08:12:31 · 2386 阅读 · 0 评论 -
windows10环境下安装pytorch
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar原创 2023-03-14 09:44:20 · 196 阅读 · 1 评论