- 博客(10)
- 收藏
- 关注
RSS订阅原创 一起来学PyTorch——神经网络（BN层）
在追求高性能的过程中，卷积网络被设计的越来越深，同时变得难以训练收敛和调参。原因在于，浅层参数的微弱变化经过多层线性变换与激活函数后，会被放大。 由于网络中参数变化导致的内部节点数据分布发生变化的现象称作ICS（Internal Covariate Shift)。ICS现象容易使训练过程陷入饱和区【自变量进入某个区域后，梯度基本不变化，不变化就找不到下降最快的方向】，减慢网络的收敛。激活函数中的ReLU可以在一定程度上解决这个问题。BN层则从改变数据分布的角度避免了参数陷入饱和区。
2023-03-15 08:57:34
1270
原创 一起来学PyTorch——神经网络（Dropout层）
在深度学习中，如果参数比较多而样本比较少时，模型容易产生过拟合。表现为，在训练集上，预测准确率很高，但是在测试集中，准确率大幅度下降。使用Dropout算法，可以有效的缓解过拟合现象。
2023-03-13 13:42:25
961
原创 一起来学PyTorch——神经网络（池化层）
在卷积网络中，通常会在卷积层之间增加池化层，用来降低特征图的参数数量，提升计算速度，增加感受野。池化可以使模型更加关注全局特征，而非局部特征，这种降维的过程可以保留一些重要的特征信息，提升容错能力，并且还能在一定程度上防止过拟合。
2023-03-12 09:52:47
364
原创 一起来学PyTorch——神经网络（激活函数层）
神经网络如果只由卷积运算组成，则无法形成复杂的表达空间，也很难提取出高语义的信息。因此还需要加入非线性的映射，又称为激活函数，可以逼近任意的非线性函数，用来提升整个神经网络的表达能力。常用Sigmoid、ReLU和Softmax函数。
2023-03-10 22:18:19
568
原创 一起来学PyTorch——神经网络（卷积层）
特征图的通道数为1，大小为4*4，特征图周围一圈的0称为填充，想了解到同学可以评论，这里不详细解释。卷积核先与左上角的3*3对应相乘后累加，作为一个结果，即卷积结果的左上角。卷积是分析数学中的一种运算，本质时使用卷积核的参数来提取数据的特征，通过矩阵点乘运算与求和运算来得到结果。.dilation：空洞卷积，当大于1时可以增大感受野的同时保证特征图的尺寸，默认为1。.kernel_size：卷积核的尺寸，常见的有1，3，5，7。.stride：步长，即卷积核在特征图上滑动的步长，一般为1。
2023-03-09 09:27:48
266
原创 一起来学PyTorch——torch.nn感知机神经网络
torch.nn提供了Module类，实现了网络各层的定义及前向计算与反向传播。在使用中，需要创建对象继承torch.nn.Module，在初始化中定义模型结构与参数，在函数forward（）中编写网络前向过程即可。也就是说torch.nn可以用来编写感知机、下面来写一个简单的两层的神经网络。
2023-03-05 10:51:44
259
原创 一起来学PyTorch——Autograd反向传播
在计算机视觉的深度学习中，Tensor数据可以完成前向传播，想要完成整套的神经网络的训练，还需要反向传播和梯度更新，而PyTorch提供了自动求导机制autograd。可以将前向传播的计算记录成计算图，并自动完成求导。有了这些数据后，可以从根节点出发，自动进行反向传播与梯度计算，从而得到每一个变量的梯度，梯度计算遵循链式求导法则。本文主要讲述Pytorch的应用，如果大家对反向传播感兴趣，可以留言，之后再详细的讲述一下。
2023-02-28 11:35:18
135
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人