卷积网络中的可学习参数有哪些?

(1)卷积层
卷积层的参数就是卷积核的总数加上偏置数,例如一个14* 14* 6 (6为通道数)的特征图,经过5* 5* 16的卷积核,那么这层的参数为5* 5* 16* 6+16=2416个参数(注意要乘上一层的通道数)。
(2)池化层
池化层很有意思的特点就是,它有一组超参数,但并没有参数需要学习。实际上,梯度下降没有什么可学的,一旦确定了kernel的stride,它就是一个固定运算,梯度下降无需改变任何值。
(3)全连接层
全连接也有偏置的,例如一个5* 5* 16 (16是通道数)的特征图后面接一个120个节点的全连接层,那么这层全连接层的参数总共为5* 5* 16*120+120 =48120个参数。

附上pytorch打印出来的参数值:
在这里插入图片描述

params = list(net.parameters())
print(len(params))
for i in range(10):
    print(params[i].size())

输出:
10

torch.Size([6, 1, 5, 5])
torch.Size([6])
torch.Size([16, 6, 5, 5])
torch.Size([16])
torch.Size([120, 400])
torch.Size([120])
torch.Size([84, 120])
torch.Size([84])
torch.Size([10, 84])
torch.Size([10])

  • 3
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
在深度学习卷积网络,常用的方法有以下几种: 1. 卷积层(Convolutional Layer):卷积层卷积神经网络的核心组成部分。它通过在输入数据上进行卷积操作,提取图像的局部特征。卷积层通常由多个卷积核组成,每个卷积核负责提取一种特定的特征。 2. 池化层(Pooling Layer):池化层用于对卷积层的输出进行降维处理,减少模型的参数数量。常见的池化方法有最大池化(Max Pooling)和平均池化(Average Pooling),它们分别提取局部区域的最大值和平均值作为输出。 3. 批归一化(Batch Normalization):批归一化是一种用于加速深度神经网络训练过程的技术。它通过对每一批输入数据进行归一化操作,使得网络更加稳定和易于训练。 4. 激活函数(Activation Function):激活函数引入非线性变换,增加了深度神经网络的表达能力。常见的激活函数有ReLU、Sigmoid和Tanh等。 5. Dropout:Dropout是一种正则化技术,通过随机将一部分神经元的输出置为0,可以减少模型的过拟合。 6. 卷积神经网络的结构设计:包括网络的深度、卷积核的大小和数量、池化操作的类型和步长等。这些设计选择会影响网络的特征提取能力和计算效率。 以上是一些常用的深度学习卷积网络的方法,当然还有其他的一些技术和改进方法,例如残差连接(Residual Connections)、多尺度卷积(Multi-scale Convolution)等。不同的方法可以根据具体任务和数据集的特点进行选择和组合。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值