深度学习
文章平均质量分 83
Crayon小鱼干
这个作者很懒,什么都没留下…
展开
-
【深度学习】自动求导中有时为什么要先sum()再backward()
在深度学习中,被求导的对象(样本/输入)一般是多元的(向量x),绝大多数情况是标量y对向量x进行求导,很少向量y对向量x进行求导,否则就会得到复杂的微分矩阵(且torch无法直接处理这种操作,需要在backward()中添加gradient参数才能实现)。所以经常把一个样本看做一个整体,它包含多个变量(属性),对其所有属性求导后再加和,就得到了这个样本的偏导数之和。因此当计算得到的y是一个关于x的向量的话,我们可以通过y.sum()操作将y标量化,再反向传播,得到标量对x的导数。原创 2024-03-09 15:55:38 · 432 阅读 · 2 评论 -
神经网络与卷积神经网络结构概述——神经网络入门
一、神经网络与卷积神经网络这里我们构建一个两层神经网络,理论上两层神经网络已经可以拟合任意函数。这个神经网络的结构如下图:首先去掉图1中一些难懂的东西,如下图: 1. 输入层在例子中,输入层是坐标值,例如(1,1),这是一个包含两个元素的数组,也可以看作是一个 1×2 的矩阵。输入层的元素维度与输入量的特征息息相关,如果输入的是一张 32×32 像素的灰度图像,那么输入层的维度就是 32×32。 2. 从输入层到隐藏层连接输入层和隐藏层的是 W1 和 b1。由X计算得到 H 十分简单,就原创 2020-08-12 13:36:58 · 3302 阅读 · 4 评论 -
AlexNet 详细解读
写在前面的话: 若有差错,欢迎指正哦。一、常识区(1) ImageNet 是一个在2009年创建的图像数据集,之后就是从2010年开始到2017年为期七届的 ImageNet 挑战赛 ImageNet Large Scale Visual Recognition ChallengeI (LSVRC),在这个挑战赛上诞生了AlexNet,ZFNet,OverFeat,VGG,Inception,ResNet、WideResNet,FractalNet,DenseNet,ResNeXt,DPN,SENet原创 2020-07-28 14:01:27 · 1209 阅读 · 1 评论 -
ZFNet 详细解读
❤ 文章有点长,可以收藏一下慢慢看哦 ~提出本模型的论文:Visualizing and Understanding Convolutional Networks一、写在前面的话1. 为什么神经网络能够表现这么好?仅靠一个理论上的自学习和一个理论上的多参数和一个理论上的非线性分类是无法令人们满意的。神经网络的黑盒子特性也让充满好奇心的机器学习学者们拼命想解开神经网络的秘密。在解密神经网络的庞大队伍中的重要分支是想要利用可视化等技术来对神经网络一探究竟,其中 Z 和 F 二人 开篇性的找.原创 2020-07-30 10:24:02 · 4242 阅读 · 0 评论