- 博客(27)
- 收藏
- 关注
RSS订阅转载 深度残差网络+自适应参数化ReLU激活函数：调参记录26（Cifar10~95.92%）
本文在调参记录25的基础上，将自适应参数化ReLU中间层的神经元个数，从2个增加到4个，同时添加了一个Dropout层，继续测试其在Cifar10数据集上的效果。自适应参数化ReLU的基本原理：Keras程序：#!/usr/bin/env python3# -*- coding: utf-8 -*-"""Created on Tue Apr 14 04:17:45 2020Implemented using TensorFlow 1.10.0 and Keras 2.2.1Minghan
2020-07-03 10:39:05
657
1
转载 ResNet+自适应参数化ReLU激活函数（调参记录25）Cifar10~95.77%
在之前调参记录的基础上，首先，大幅度削减了自适应参数化ReLU中全连接神经元的个数，想着可以减轻训练的难度，也可以减少过拟合；然后，将Epoch增加到1000个，继续测试ResNet+自适应参数化ReLU激活函数在Cifar10上的效果。自适应参数化ReLU激活函数的基本原理如下：Keras程序：#!/usr/bin/env python3# -*- coding: utf-8 -*-"""Created on Tue Apr 14 04:17:45 2020Implemented usin
2020-06-02 22:08:54
1324
转载 深度残差网络+自适应参数化ReLU激活函数：调参记录24（Cifar10~95.80%）
本文在调参记录23的基础上，增加卷积核的个数，最少是64个，最多是256个，继续测试深度残差网络+自适应参数化ReLU激活函数在cifar10数据集上的效果。自适应参数化ReLU激活函数被放在了残差模块的第二个卷积层之后，它的基本原理如下：Keras程序：#!/usr/bin/env python3# -*- coding: utf-8 -*-"""Created on Tue Apr 14 04:17:45 2020Implemented using TensorFlow 1.0.1 an
2020-05-21 09:53:30
547
转载 深度残差网络+自适应参数化ReLU激活函数：调参记录23（Cifar10~95.47%）
本文在调参记录21的基础上，增加卷积核的个数，也就是增加深度神经网络的宽度，继续尝试深度残差网络+自适应参数化ReLU激活函数在Cifar10数据集上的效果。自适应参数化ReLU激活函数的原理如下：Keras程序：#!/usr/bin/env python3# -*- coding: utf-8 -*-"""Created on Tue Apr 14 04:17:45 2020Implemented using TensorFlow 1.0.1 and Keras 2.2.1Mingha
2020-05-19 15:21:42
389
转载 深度残差网络+自适应参数化ReLU激活函数：调参记录22（Cifar10~95.25%）
本文在调参记录21的基础上，将残差模块的个数，从60个增加到120个，测试深度残差网络+自适应参数化ReLU激活函数在Cifar10数据集上的效果。自适应参数化ReLU激活函数的基本原理如下：Keras程序：#!/usr/bin/env python3# -*- coding: utf-8 -*-"""Created on Tue Apr 14 04:17:45 2020Implemented using TensorFlow 1.0.1 and Keras 2.2.1Minghang
2020-05-18 22:08:17
647
转载 深度残差网络+自适应参数化ReLU激活函数：调参记录21（Cifar10~95.12%）
本文在调参记录20的基础上，将残差模块的个数，从27个增加到60个，继续测试深度残差网络ResNet+自适应参数化ReLU激活函数在Cifar10数据集上的表现。自适应参数化ReLU函数被放在了残差模块的第二个卷积层之后，这与Squeeze-and-Excitation Networks或者深度残差收缩网络是相似的。其基本原理如下：Keras程序如下：#!/usr/bin/env python3# -*- coding: utf-8 -*-"""Created on Tue Apr 14 04
2020-05-17 19:34:36
422
转载 深度残差网络+自适应参数化ReLU激活函数：调参记录20（Cifar10~94.17%）
在之前的调参记录18中，是将深度残差网络ResNet中的所有ReLU都替换成了自适应参数化ReLU（Adaptively Parametric ReLU，APReLU）。由于APReLU的输入特征图与输出特征图的尺寸是完全一致的，所以APReLU可以被嵌入到神经网络的任意部分。本文将APReLU放在每个残差模块的第二个卷积层之后。这种结构与Squeeze-and-Excitation Network是非常相似的，其区别在于APReLU额外地包含了非线性变换。同时，迭代次数也从5000个epoch减少到
2020-05-17 18:30:33
489
转载 深度残差网络+自适应参数化ReLU激活函数：调参记录19（Cifar10~93.96%）
由于调参记录18依然存在过拟合，本文将自适应参数化ReLU激活函数中最后一层的神经元个数减少为1个，继续测试深度残差网络+自适应参数化ReLU激活函数在Cifar10数据集上的效果。同时，迭代次数从调参记录18中的5000个epoch，减少到了500个epoch，因为5000次实在是太费时间了，差不多要四天才能跑完。自适应参数化ReLU激活函数的基本原理如下：Keras程序如下：#!/usr/bin/env python3# -*- coding: utf-8 -*-"""Created o
2020-05-09 20:43:52
940
转载 深度残差网络+自适应参数化ReLU激活函数：调参记录18（Cifar10~94.28%）
本文将残差模块的数量增加到27个。其实之前也这样做过，现在的区别在于，自适应参数化ReLU激活函数中第一个全连接层中的神经元个数设置成了特征通道数量的1/16。同样是在Cifar10数据集上进行测试。自适应参数化ReLU激活函数的基本原理如下：Keras代码如下：#!/usr/bin/env python3# -*- coding: utf-8 -*-"""Created on Tu...
2020-05-05 09:34:04
1220
转载 深度残差网络+自适应参数化ReLU激活函数：调参记录17
在调参记录16的基础上，增加了两个残差模块，继续测试其在Cifar10数据集上的效果。自适应参数化ReLU激活函数的基本原理如下：Keras程序：#!/usr/bin/env python3# -*- coding: utf-8 -*-"""Created on Tue Apr 14 04:17:45 2020Implemented using TensorFlow 1.0.1 a...
2020-05-04 12:51:12
1245
转载 深度残差网络+自适应参数化ReLU激活函数：调参记录16
在调参记录15的基础上，将第一个残差模块的卷积核数量，从16个增加到32个，同时将自适应参数化ReLU激活函数中第一个全连接层的神经元个数改成原先的1/16，继续测试其在Cifar10数据集上的效果。自适应参数化ReLU激活函数的基本原理如下：Keras程序：#!/usr/bin/env python3# -*- coding: utf-8 -*-"""Created on Tue ...
2020-05-04 12:48:25
239
转载 深度残差网络+自适应参数化ReLU激活函数：调参记录15
在调参记录14里，只有2个残差模块，结果遭遇欠拟合了。这次增加一个残差模块试试。自适应参数化ReLU激活函数的基本原理如下：Keras程序如下：#!/usr/bin/env python3# -*- coding: utf-8 -*-"""Created on Tue Apr 14 04:17:45 2020Implemented using TensorFlow 1.0.1 an...
2020-05-04 12:43:45
277
转载 深度残差网络+自适应参数化ReLU激活函数：调参记录14
这次再尝试解决过拟合，把残差模块的数量减少到2个，自适应参数化ReLU激活函数里面第一个全连接层的权重数量，减少为之前的1/8，批量大小设置为1000（主要是为了省时间）。自适应参数化ReLU激活函数的基本原理如下：Keras程序如下：#!/usr/bin/env python3# -*- coding: utf-8 -*-"""Created on Tue Apr 14 04:17...
2020-05-04 12:40:53
298
转载 深度残差网络+自适应参数化ReLU激活函数：调参记录13
从以往的调参结果来看，过拟合是最主要的问题。本文在调参记录12的基础上，将层数减少，减到9个残差模块，再试一次。自适应参数化ReLU激活函数原理如下：Keras程序如下：#!/usr/bin/env python3# -*- coding: utf-8 -*-"""Created on Tue Apr 14 04:17:45 2020Implemented using Tensor...
2020-05-04 12:34:39
451
转载 深度残差网络+自适应参数化ReLU激活函数：调参记录12
本文在调参记录10的基础上，在数据增强部分添加了zoom_range = 0.2，将训练迭代次数增加到5000个epoch，批量大小改成了625，测试Adaptively Parametric ReLU（APReLU）激活函数在Cifar10图像集上的效果。Adaptively Parametric ReLU（APReLU）激活函数的原理如下：Keras程序：#!/usr/bin/env ...
2020-05-04 12:24:57
989
转载 深度残差网络+自适应参数化ReLU激活函数：调参记录11
本文在调参记录10的基础上，将残差模块的数量从27个增加到60个，测试采用Adaptively Parametric ReLU（APReLU）激活函数的深度残差网络，在Cifar10图像集上的效果。Keras程序如下：#!/usr/bin/env python3# -*- coding: utf-8 -*-"""Created on Tue Apr 14 04:17:45 2020I...
2020-05-04 12:20:51
1675
转载 深度残差网络+自适应参数化ReLU激活函数：调参记录10
本文在调参记录9的基础上，在数据增强部分添加了shear_range = 30，测试Adaptively Parametric ReLU（APReLU）激活函数在Cifar10图像集上的效果。Keras里ImageDataGenerator的用法见如下网址：https://fairyonice.github.io/Learn-about-ImageDataGenerator.html深度残差...
2020-05-04 12:17:06
538
转载 深度残差网络+自适应参数化ReLU激活函数：调参记录9
本文在调参记录6的基础上，继续调整超参数，测试Adaptively Parametric ReLU（APReLU）激活函数在Cifar10图像集上的效果。深度残差网络+自适应参数化ReLU激活函数（调参记录6）https://blog.csdn.net/dangqing1988/article/details/105628681自适应参数化ReLU激活函数的基本原理见下图：在Keras里...
2020-05-04 12:13:09
403
转载 深度残差网络+自适应参数化ReLU激活函数：调参记录8
续上一篇：深度残差网络+自适应参数化ReLU激活函数（调参记录7）https://blog.csdn.net/dangqing1988/article/details/105670981本文将层数设置得很少，只有两个残差模块，测试Adaptively Parametric ReLU（APReLU）激活函数在Cifar10图像集上的效果。Keras代码如下：#!/usr/bin/env ...
2020-05-04 11:21:58
218
转载 深度残差网络+自适应参数化ReLU激活函数：调参记录7
续上一篇：深度残差网络+自适应参数化ReLU激活函数（调参记录6）https://blog.csdn.net/dangqing1988/article/details/105628681本文冒着过拟合的风险，将卷积核的个数增加成32个、64个和128个，继续测试Adaptively Parametric ReLU（APReLU）激活函数在Cifar10图像集上的效果。APReLU激活函数的基...
2020-05-04 10:34:33
298
转载 深度残差网络+自适应参数化ReLU激活函数：调参记录6
续上一篇：深度残差网络+自适应参数化ReLU激活函数（调参记录5）https://blog.csdn.net/dangqing1988/article/details/105627351本文继续调整超参数，测试Adaptively Parametric ReLU（APReLU）激活函数在Cifar10图像集上的效果。APReLU的基本原理如下图所示：首先，从之前的调参发现，当学习率从0....
2020-05-04 10:31:04
669
转载 深度残差网络+自适应参数化ReLU激活函数：调参记录5
续上一篇：深度残差网络+自适应参数化ReLU激活函数（调参记录4）https://blog.csdn.net/dangqing1988/article/details/105610584本文继续测试Adaptively Parametric ReLU（APReLU）激活函数在Cifar10图像集上的效果，每个残差模块包含两个3×3的卷积层，一共有27个残差模块，卷积核的个数分别是16个、32...
2020-05-04 10:27:09
288
转载 深度残差网络+自适应参数化ReLU激活函数：调参记录4
续上一篇：深度残差网络+自适应参数化ReLU激活函数：调参记录3https://blog.csdn.net/ABCD_202020/article/details/105802240本文在深度残差网络中采用了自适应参数化ReLU激活函数，继续测试其在Cifar10图像集上的效果。与上一篇不同的是，这次修改了残差模块里面的结构，原先是两个3×3的卷积层，现在改成了1×1→3×3→1×1的瓶颈式...
2020-04-27 23:18:53
758
转载 深度残差网络+自适应参数化ReLU激活函数：调参记录3
续上一篇：深度残差网络+自适应参数化ReLU激活函数（调参记录2）https://blog.csdn.net/dangqing1988/article/details/105595917本文继续测试深度残差网络和自适应参数化ReLU激活函数在Cifar10图像集上的表现，残差模块仍然是27个，卷积核的个数分别增加到16个、32个和64个，迭代次数从1000个epoch减到了500个epoch...
2020-04-27 23:07:43
438
转载 深度残差网络+自适应参数化ReLU激活函数：调参记录2
续上一篇：深度残差网络+自适应参数化ReLU激活函数（调参记录1）https://blog.csdn.net/dangqing1988/article/details/105590515本文依然是测试深度残差网络+自适应参数化ReLU激活函数，残差模块的数量增加到了27个，其他保持不变，卷积核的个数依然是8个、16个到32个，继续测试在Cifar10数据集上的效果。自适应参数化ReLU激活...
2020-04-27 22:56:09
280
转载 深度残差网络+自适应参数化ReLU激活函数：调参记录1
本文采用了深度残差网络和自适应参数化ReLU激活函数，建立了一个网络（包括9个残差模块，卷积核的个数比较少，最少的8个，最多到32个），在Cifar10数据集上进行了初步的测试。其中，自适应参数化ReLU激活函数原本是应用在基于振动信号的故障诊断，是参数化ReLU的一种改进，其基本原理如下图所示。具体的keras代码如下：#!/usr/bin/env python3# -*- codin...
2020-04-27 22:36:17
288
转载 【深度残差收缩网络】从删除冗余特征时的灵活性进行探讨
本文解读了一种新的深度学习方法——深度残差收缩网络(Deep Residual Shrinkage Network)，加入了笔者自己的理解。1.深度残差收缩网络的基础知识从名字可以看出，深度残差收缩网络是深度残差网络的一种改进方法。其特色是“收缩”，在这里指的是软阈值化，而软阈值化几乎是现在信号降噪算法的必备步骤。因此，深度残差收缩网络是一种面向含噪数据的深度学习方法，是信号处理里的经典内容...
2020-04-27 22:23:20
3111
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人