- 博客(28)
- 收藏
- 关注
RSS订阅转载 【哈工大版】Dynamic ReLU：Adaptively Parametric ReLU及Keras代码（调参记录26）Cifar10~95.92%
本文介绍哈工大团队提出的一种动态ReLU（Dynamic ReLU）激活函数，即自适应参数化ReLU激活函数，原本是应用在基于一维振动信号的故障诊断，能够让每个样本有自己独特的ReLU参数，在2019年5月3日投稿至IEEE Transactions on Industrial Electronics，2020年1月24日录用，2020年2月13日在IEEE官网公布。本文在调参记录25的基础上，将自适应参数化ReLU中间层的神经元个数，从2个增加到4个，同时添加了一个Dropout层，继续测试其在Ci.
2020-07-03 10:51:00
632
转载 【哈工大版】Dynamic ReLU：Adaptively Parametric ReLU及Keras代码（调参记录25）Cifar10~95.77%
本文介绍哈工大团队提出的一种动态ReLU（Dynamic ReLU）激活函数，即自适应参数化ReLU激活函数，原本是应用在基于一维振动信号的故障诊断，能够让每个样本有自己独特的ReLU参数，在2019年5月3日投稿至IEEE Transactions on Industrial Electronics，2020年1月24日录用，2020年2月13日在IEEE官网公布。在之前调参记录的基础上，首先，大幅度削减了自适应参数化ReLU中全连接神经元的个数，想着可以减轻训练的难度，也可以减少过拟合；然后，将E.
2020-06-02 22:51:20
671
转载 【哈工大版】Dynamic ReLU：自适应参数化ReLU基本原理
本文介绍哈工大团队提出的一种动态ReLU（Dynamic ReLU）激活函数，即自适应参数化ReLU激活函数，原本是应用在基于一维振动信号的故障诊断，能够让每个样本有自己独特的ReLU参数，在2019年5月3日投稿至IEEE Transactions on Industrial Electronics，2020年1月24日录用，2020年2月13日在IEEE官网公布。本文在综述传统静态激活函数和注意力机制的基础上，解读了一种注意力机制下的动态激活函数，即自适应参数化修正线性单元（Adaptively .
2020-05-27 09:40:05
859
转载 【哈工大版】Dynamic ReLU：Adaptively Parametric ReLU及Keras代码（调参记录24）Cifar10~95.80%
本文介绍哈工大团队提出的一种动态ReLU（Dynamic ReLU）激活函数，即自适应参数化ReLU激活函数，原本是应用在基于一维振动信号的故障诊断，能够让每个样本有自己独特的ReLU参数，在2019年5月3日投稿至IEEE Transactions on Industrial Electronics，2020年1月24日录用，2020年2月13日在IEEE官网公布。本文在调参记录23的基础上，增加卷积核的个数，最少是64个，最多是256个，继续测试深度残差网络+自适应参数化ReLU激活函数在cifa.
2020-05-26 22:49:23
416
转载 【哈工大版】Dynamic ReLU：Adaptively Parametric ReLU及Keras代码（调参记录23）Cifar10~95.47%
本文介绍哈工大团队提出的一种动态ReLU（Dynamic ReLU）激活函数，即自适应参数化ReLU激活函数，原本是应用在基于一维振动信号的故障诊断，能够让每个样本有自己独特的ReLU参数，在2019年5月3日投稿至IEEE Transactions on Industrial Electronics，2020年1月24日录用，2020年2月13日在IEEE官网公布。本文在调参记录21的基础上，增加卷积核的个数，也就是增加深度神经网络的宽度，继续尝试深度残差网络+自适应参数化ReLU激活函数在Cifa.
2020-05-26 22:44:38
357
转载 【哈工大版】Dynamic ReLU：Adaptively Parametric ReLU及Keras代码（调参记录22）Cifar10~95.25%
本文介绍哈工大团队提出的一种动态ReLU（Dynamic ReLU）激活函数，即自适应参数化ReLU激活函数，原本是应用在基于一维振动信号的故障诊断，能够让每个样本有自己独特的ReLU参数，在2019年5月3日投稿至IEEE Transactions on Industrial Electronics，2020年1月24日录用，2020年2月13日在IEEE官网公布。本文在调参记录21的基础上，将残差模块的个数，从60个增加到120个，测试深度残差网络+自适应参数化ReLU激活函数在Cifar10图像.
2020-05-26 22:38:46
337
转载 【哈工大版】Dynamic ReLU：Adaptively Parametric ReLU及Keras代码（调参记录21）Cifar10~95.12%
本文介绍哈工大团队提出的一种动态ReLU（Dynamic ReLU）激活函数，即自适应参数化ReLU激活函数，原本是应用在基于一维振动信号的故障诊断，能够让每个样本有自己独特的ReLU参数，在2019年5月3日投稿至IEEE Transactions on Industrial Electronics，2020年1月24日录用，2020年2月13日在IEEE官网公布。本文在调参记录20的基础上，将残差模块的个数，从27个增加到60个，继续测试深度残差网络ResNet+自适应参数化ReLU激活函数在Ci.
2020-05-26 22:31:24
309
转载 【哈工大版】Dynamic ReLU：Adaptively Parametric ReLU及Keras代码（调参记录20）Cifar10~94.17%
本文介绍哈工大团队提出的一种动态ReLU（Dynamic ReLU）激活函数，即自适应参数化ReLU激活函数，原本是应用在基于一维振动信号的故障诊断，能够让每个样本有自己独特的ReLU参数，在2019年5月3日投稿至IEEE Transactions on Industrial Electronics，2020年1月24日录用，2020年2月13日在IEEE官网公布。在之前的调参记录18中，是将深度残差网络ResNet中的所有ReLU都替换成了自适应参数化ReLU（Adaptively Paramet.
2020-05-26 22:19:40
420
转载 【哈工大版】Dynamic ReLU：Adaptively Parametric ReLU及Keras代码（调参记录19）Cifar10~93.96%
本文介绍哈工大团队提出的一种动态ReLU（Dynamic ReLU）激活函数，即自适应参数化ReLU激活函数，原本是应用在基于一维振动信号的故障诊断，能够让每个样本有自己独特的ReLU参数，在2019年5月3日投稿至IEEE Transactions on Industrial Electronics，2020年1月24日录用，2020年2月13日在IEEE官网公布。由于调参记录18依然存在过拟合，本文将自适应参数化ReLU激活函数中最后一层的神经元个数减少为1个，继续测试深度残差网络+自适应参数化R.
2020-05-26 22:00:01
544
转载 【哈工大版】Dynamic ReLU：Adaptively Parametric ReLU及Keras代码（调参记录18）Cifar10~94.28%
本文介绍哈工大团队提出的一种动态ReLU（Dynamic ReLU）激活函数，即自适应参数化ReLU激活函数，原本是应用在基于一维振动信号的故障诊断，能够让每个样本有自己独特的ReLU参数，在2019年5月3日投稿至IEEE Transactions on Industrial Electronics，2020年1月24日录用，2020年2月13日在IEEE官网公布。本文将残差模块的数量增加到27个。其实之前也这样做过，现在的区别在于，自适应参数化ReLU激活函数中第一个全连接层中的神经元个数设置成了.
2020-05-26 21:49:43
904
转载 【哈工大版】Dynamic ReLU：Adaptively Parametric ReLU及Keras代码（调参记录17）
本文介绍哈工大团队提出的一种动态ReLU（Dynamic ReLU）激活函数，即自适应参数化ReLU激活函数，原本是应用在基于一维振动信号的故障诊断，能够让每个样本有自己独特的ReLU参数，在2019年5月3日投稿至IEEE Transactions on Industrial Electronics，2020年1月24日录用，2020年2月13日在IEEE官网公布。在调参记录16的基础上，增加了两个残差模块，继续测试其在Cifar10图像集上的效果。自适应参数化ReLU激活函数的基本原理如下：.
2020-05-26 21:18:10
780
转载 【哈工大版】Dynamic ReLU：Adaptively Parametric ReLU及Keras代码（调参记录16）
本文介绍哈工大团队提出的一种动态ReLU（Dynamic ReLU）激活函数，即自适应参数化ReLU激活函数，原本是应用在基于一维振动信号的故障诊断，能够让每个样本有自己独特的ReLU参数，在2019年5月3日投稿至IEEE Transactions on Industrial Electronics，2020年1月24日录用，2020年2月13日在IEEE官网公布。在调参记录15的基础上，本文将第一个残差模块的卷积核数量，从16个增加到32个，同时将自适应参数化ReLU激活函数中第一个全连接层的神经.
2020-05-26 21:02:27
224
转载 【哈工大版】Dynamic ReLU：Adaptively Parametric ReLU及Keras代码（调参记录15）
本文介绍哈工大团队提出的一种动态ReLU（Dynamic ReLU）激活函数，即自适应参数化ReLU激活函数，原本是应用在基于一维振动信号的故障诊断，能够让每个样本有自己独特的ReLU参数，在2019年5月3日投稿至IEEE Transactions on Industrial Electronics，2020年1月24日录用，2020年2月13日在IEEE官网公布。在调参记录14里，只有2个残差模块，结果遭遇欠拟合了。这次增加一个残差模块试试。自适应参数化ReLU激活函数的基本原理如下：Ker.
2020-05-26 20:42:54
221
转载 【哈工大团队】动态ReLU：自适应参数化ReLU及Keras代码（调参记录14）
本文介绍哈工大团队提出的一种动态ReLU（Dynamic ReLU）激活函数，即自适应参数化ReLU激活函数，原本是应用在基于一维振动信号的故障诊断，能够让每个样本有自己独特的ReLU参数，在2019年5月3日投稿至IEEE Transactions on Industrial Electronics，2020年1月24日录用，2020年2月13日在IEEE官网公布。续上一篇：【哈工大团队】动态ReLU：自适应参数化ReLU及Keras代码（调参记录13）这次再尝试解决过拟合，把残差模块的数量减少.
2020-05-26 20:06:28
912
转载 【哈工大团队】动态ReLU：自适应参数化ReLU及Keras代码（调参记录13）
本文介绍哈工大团队提出的一种动态ReLU（Dynamic ReLU）激活函数，即自适应参数化ReLU激活函数，原本是应用在基于一维振动信号的故障诊断，能够让每个样本有自己独特的ReLU参数，在2019年5月3日投稿至IEEE Transactions on Industrial Electronics，2020年1月24日录用，2020年2月13日在IEEE官网公布。从以往的调参结果来看，过拟合是最主要的问题。本文在调参记录12的基础上，将层数减少，减到9个残差模块，再试一次。自适应参数化ReLU激.
2020-05-26 19:48:24
477
转载 【哈工大团队】动态ReLU：自适应参数化ReLU及Keras代码（调参记录12）
本文介绍哈工大团队提出的一种Dynamic ReLU激活函数，即自适应参数化ReLU激活函数，原本是应用在基于一维振动信号的故障诊断，能够让每个样本有自己独特的ReLU参数，在2019年5月3日投稿至IEEE Transactions on Industrial Electronics，2020年1月24日录用，2020年2月13日在IEEE官网公布。本文在调参记录10的基础上，在数据增强部分添加了zoom_range = 0.2，将训练迭代次数增加到5000个epoch，批量大小改成了625，测试自.
2020-05-26 19:29:28
654
转载 【哈工大版】动态ReLU：自适应参数化ReLU及Keras代码（调参记录11）
本文介绍哈工大团队提出的一种动态ReLU（Dynamic ReLU）激活函数，即自适应参数化ReLU激活函数，原本是应用在基于一维振动信号的故障诊断，能够让每个样本有自己独特的ReLU参数，在2019年5月3日投稿至IEEE Transactions on Industrial Electronics，2020年1月24日录用，2020年2月13日在IEEE官网公布。本文在调参记录10的基础上，将残差模块的数量从27个增加到60个，测试采用自适应参数化ReLU（APReLU）激活函数的深度残差网络，在.
2020-05-26 19:16:39
454
转载 【哈工大版】动态ReLU：自适应参数化ReLU及Keras代码（调参记录10）
本文介绍哈工大团队提出的一种Dynamic ReLU激活函数，即自适应参数化ReLU激活函数，原本是应用在基于一维振动信号的故障诊断，能够让每个样本有自己独特的ReLU参数，在2019年5月3日投稿至IEEE Transactions on Industrial Electronics，2020年1月24日录用，2020年2月13日在IEEE官网公布。本文在调参记录9的基础上，在数据增强部分添加了shear_range = 30，测试Adaptively Parametric ReLU（APReLU）.
2020-05-26 17:35:48
31027
转载 【哈工大版】动态ReLU：自适应参数化ReLU及Keras代码（调参记录9）
本文介绍哈工大团队提出的一种Dynamic ReLU激活函数，即自适应参数化ReLU激活函数，原本是应用在基于一维振动信号的故障诊断，能够让每个样本有自己独特的ReLU参数，在2019年5月3日投稿至IEEE Transactions on Industrial Electronics，2020年1月24日录用，2020年2月13日在IEEE官网公布。本文在调参记录6的基础上，继续调整超参数，测试Adaptively Parametric ReLU（APReLU）激活函数在Cifar10图像集上的效果.
2020-05-26 17:01:11
721
转载 【哈工大版】Dynamic ReLU：自适应参数化ReLU及Keras代码（调参记录8）
本文介绍哈工大团队提出的一种Dynamic ReLU激活函数，即自适应参数化ReLU激活函数，原本是应用在基于一维振动信号的故障诊断，能够让每个样本有自己独特的ReLU参数，在2019年5月3日投稿至IEEE Transactions on Industrial Electronics，2020年1月24日录用，2020年2月13日在IEEE官网公布。续上一篇：【哈工大版】Dynamic ReLU：Adaptively Parametric ReLU及Keras代码（调参记录7）本文将层数设置得很.
2020-05-26 16:47:16
576
转载 【哈工大版】Dynamic ReLU：Adaptively Parametric ReLU及Keras代码（调参记录7）
本文介绍哈工大团队提出的一种Dynamic ReLU激活函数，即自适应参数化ReLU激活函数，原本是应用在基于一维振动信号的故障诊断，能够让每个样本有自己独特的ReLU参数，在2019年5月3日投稿至IEEE Transactions on Industrial Electronics，2020年1月24日录用，2020年2月13日在IEEE官网公布。续上一篇：【哈工大版】Dynamic ReLU：Adaptively Parametric ReLU及Keras代码（调参记录6）本文冒着过拟合的风.
2020-05-26 16:31:31
418
转载 【哈工大版】Dynamic ReLU：Adaptively Parametric ReLU及Keras代码（调参记录6）
本文介绍哈工大团队提出的一种Dynamic ReLU激活函数，即自适应参数化ReLU激活函数，原本是应用在基于振动信号的故障诊断，能够让每个样本有自己独特的ReLU参数，在2019年5月3日投稿至IEEE Transactions on Industrial Electronics，2020年1月24日录用，2020年2月13日在IEEE官网公布。续上一篇：【哈工大版】Dynamic ReLU：Adaptively Parametric ReLU及Keras代码（调参记录5）本文继续调整超参数，测.
2020-05-26 14:37:24
696
转载 【哈工大版】Dynamic ReLU：Adaptively Parametric ReLU及Keras代码（调参记录5）
本文介绍哈工大团队提出的一种Dynamic ReLU激活函数，即自适应参数化ReLU激活函数，原本是应用在基于振动信号的故障诊断，能够让每个样本有自己独特的ReLU参数，在2019年5月3日投稿至IEEE Transactions on Industrial Electronics，2020年1月24日录用，2020年2月13日在IEEE官网公布。续上一篇：【哈工大版】Dynamic ReLU：Adaptively Parametric ReLU及Keras代码（调参记录4）本文继续测试自适应参数.
2020-05-26 14:23:13
360
转载 【哈工大版】Dynamic ReLU：Adaptively Parametric ReLU及Keras代码（调参记录4）
本文介绍哈工大团队提出的一种Dynamic ReLU激活函数，即自适应参数化ReLU激活函数，能够让每个样本有自己独特的ReLU参数，在2019年5月3日投稿至IEEE Transactions on Industrial Electronics，2020年1月24日录用，2020年2月13日在IEEE官网公布。续上一篇：【哈工大版】Dynamic ReLU：自适应参数化ReLU及Keras代码（调参记录3）本文在ResNet中采用了自适应参数化ReLU，继续测试它在Cifar10上的效果。与前一.
2020-05-26 13:20:57
336
转载 【哈工大版】Dynamic ReLU：自适应参数化ReLU及Keras代码（调参记录3）
本文介绍哈工大团队提出的一种Dynamic ReLU激活函数，即自适应参数化ReLU激活函数，能够让每个样本有自己独特的ReLU参数，在2019年5月3日投稿至IEEE Transactions on Industrial Electronics，2020年1月24日录用，2020年2月13日在IEEE官网公布。续上一篇：【哈工大】Dynamic ReLU：自适应参数化ReLU及Keras代码（调参记录2）本文继续测试深度残差网络+自适应参数化ReLU激活函数在Cifar10图像集上的准确率，残差.
2020-05-26 13:01:45
789
转载 【哈工大】Dynamic ReLU：自适应参数化ReLU及Keras代码（调参记录2）
本文介绍哈工大团队提出的一种Dynamic ReLU激活函数，即自适应参数化ReLU激活函数，能够让每个样本有自己独特的ReLU参数，在2019年5月3日投稿至IEEE Transactions on Industrial Electronics，2020年1月24日录用，2020年2月13日在IEEE官网公布。本文依然是测试ResNet+自适应参数化ReLU，残差模块的个数增加到了27个，其他保持不变，继续测试它在Cifar10的分类表现。自适应参数化ReLU原本是应用在基于振动信号的机械故障诊断.
2020-05-25 22:47:37
1043
转载 【哈工大版】Dynamic ReLU：自适应参数化ReLU及Keras代码（调参记录1）
自适应参数化ReLU是一种动态ReLU（Dynamic ReLU）激活函数，对所有输入不是“一视同仁”，在2019年5月3日投稿至IEEE Transactions on Industrial Electronics，2020年1月24日录用，2020年2月13日在IEEE官网公布。本文采用了深度残差网络和自适应参数化ReLU，构造了一个小型的网络（包含9个残差模块，卷积核的个数比较少，最少是8个，最多是32个），在Cifar10图像数据集上进行了简单的测试。自适应参数化ReLU原本是应用在基于振动.
2020-05-25 22:18:56
602
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人