研究生新生培训第三周:ResNet+ResNeXt

PART 1:视频学习

一、ResNet

        1.ResNet网络创新点

        2.ResNet结局的问题

        3.ResNet-34网络结构

        4.ResNet网络结构

        5.Residual结构

        分别在层数较低的ResNet和深层ResNet使用的网络结构

        Residual计算原理:

        

         6.网络训练结果

        在普通神经网络,越深层的网络反而表现出的效果越差

        ResNet:

        

二、Batch Nomalization        

        BN的作用为够加速网络的收敛并提升准确率,目的是使每一个batch的feature map满足均值为0,方差为1的分布规律   

三、迁移学习

        1.迁移学习的优势

     

        2.常见的迁移学习方式

四、ResNeXt

        1.进行分组卷积

        最主要的不同就是在ResNet的基础上加入了分组卷积,进一步减少了参数量

                2.网络结构

        卷积block结构:

                

PART 2:代码实验

一、实验过程

        1.引入模块

        2.超参数设定

        3.数据预处理

         4.载入数据

        5.实例化模型

        6.训练,测试

        训练:

         测试:

        学习率调整:

        训练:

        输出csv文件:

二、实验问题

        在做神经网络训练的时候主要使用在本机搭建的pytorch平台,由于电脑显卡功能不理想,batch_size和epoch等参数都不能设置过大,大数据集和大参数模型训练常常爆显存。

实验效果不理想,由于网络问题一直没使用colab,在下一周着重解决一下实验平台问题,重新训练ResNet网络,获得比较好的实验结果。

PART 3:问题回答

        1.Residual learning

                解决了深层网络中梯度爆炸/梯度消失和精度下降(训练集中)的问题,加深了神经网络深度。

        2.Batch Normalization

                BN的作用为够加速网络的收敛并提升准确率,目的是使每一个batch的feature map满足均值为0,方差为1的分布规律 .

        3.为什么分组卷积可以提升准确率?即然分组卷积可以提升准确率,同时还能降低计算量,分数数量尽量多不行吗?

                (1)减少参数量,计算量,可以训练更深层的网络

                (2)尽可能多分组为DW卷积,容易割裂各个特征图中的特征关系,导致效果不好

                (3)应根据模型和计算量选择合适的卷积方式和参数设定

 

 

 

 

 

 

 

 

 

  • 0
    点赞
  • 0
    收藏
  • 打赏
    打赏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题:数字20 设计师:CSDN官方博客 返回首页
评论 1

打赏作者

Fanshoo

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值