flash_zhj-CSDN博客

原创 What Makes Training Multi-modal Classification Networks Hard? 阅读笔记

目前最好的单模态模型总是比多模态模型表现要好导致（多模态模型）性能下降的两个主要原因：1.多模态网络由于容量增加，经常出现过拟合的情况2.不同的模态过拟合和以不同的速率泛化，所以使用单一的优化策略对其联合训练不是最优的为此提出了Gradient-Blending（梯度调和）方法，该方法根据各模态的过拟合行为来计算各模态的最佳调和方式。证明了可以更有效地解决过拟合，在human action recognition等多种任务中都能达到更高的准确率。

2020-07-10 20:40:26 2309 7

原创 Keras防止过拟合（五）Layer Normalization代码实现

解决过拟合的方法和代码实现，已经写过Dropout层，L1 L2正则化，提前终止训练，上一篇文章写了Batch Normalization，本篇将介绍另一个Normalization，Layer Normalization.1.Batch Normalization的缺陷（为何要使用Layer Normalization）BN的缺陷主要有两点：1.受到batch大小的影响上一节通过BN的概念和代码，已经看出，BN中计算的是每个batch样本的均值和方差，再将其用到该batch中进行归一化。因此，当b

2020-07-06 17:49:38 8070 3

原创 keras BatchNormalization的坑（training参数和 momentum参数）

之前写了一篇讲解keras实现BatchNormalization的文章Keras防止过拟合（四） Batch Normalization代码实现，以为自己已经将keras实现BatchNormalization的细节完全明白了，突然看到了一篇文章keras BatchNormalization 之坑，其中写道了一个坑：训练时和测试时的均值mean和方差var差异太大，影响结果。而其文中提出，training参数设置为0或者False可以解决。但通过我自己分析和浏览一些资料后，发现这个说法是错误的。要解决这

2020-07-01 20:33:47 13937 22

原创 Keras防止过拟合（四） Batch Normalization代码实现

结局过拟合的方法和代码实现，前面已经写过Dropout层，L1 L2正则化，提前终止训练三种，本篇介绍一下Batch Normalization和Layer Normalization两种归一化。这两种方法，最大的作用是加速训练，但对防止过拟合也有一些作用。Batch Normalization概念...

2020-06-30 22:58:03 5487 1

原创 Keras防止过拟合（三）如何提前终止训练

解决过拟合的方法，前面已经讲了2种，Dropout层Keras防止过拟合（一）Dropout层源码细节，L1L2正则化keras防止过拟合（二） L1正则化与L2正则化源码细节和在自定义层中加入。除此之外，当损失函数不降反增，或是降低十分缓慢时，提前结束训练也是一个很好的办法。因为，随着模型训练次数的增多，模型会更加复杂，更易出现过拟合。本篇就着重说明一下，keras如何提前终止训练。Keras如何训练使用keras时，定义好模型后，需要先配置训练模型，使用到的是compile函数：compile(

2020-06-24 18:58:35 8007 1

原创 keras防止过拟合（二） L1正则化与L2正则化源码细节和在自定义层中加入

上篇分析了Keras实现Dropout层的原理Keras防止过拟合（一）Dropout层源码细节，Dropout层的加入，可以很好的缓解过拟合问题。除此之外，我们在Keras的模型搭建中，也可以使用L1 L2正则化。L1正则化与L2正则化如果对L1、L2正则化完全不了解的，推荐这篇文章机器学习中正则化项L1和L2的直观理解，讲解的十分清楚。L2正则化比L1更适合解决过拟合问题（L2正则化最后可以得到一个参数都比较小的模型，抗扰动能力强），L1正则化则有利于产生稀疏矩阵、特征选择。所以在解决过拟合问题

2020-06-22 23:47:44 7312 1

原创 Keras防止过拟合（一）Dropout层源码细节

在使用深度学习模型时，会遇到两种问题，过拟合和欠拟合。其中，解决欠拟合的方法有增大数据集，优化模型等等，根据具体问题具体对待。过拟合的问题，可以通过Dropout，添加L1,L2正规项等等很简单的方法解决，网上有许多文章介绍这些方法。但怎么使用keras实现，实现中的细节问题，却缺少描述。我就写写解决过拟合这方面的博客，刚好也是督促自己学习！Dropout原理有许多优质文章讲过Dropout操作的原理，大家可以去搜一搜。我在这里只简单提一下，重点讲解Keras是如何实现的。上图是在神经网络中使用Dr

2020-06-22 21:05:00 5126 4

原创深度学习笔记与Keras实现细节（二）keras实现简单神经网络（Dense层细节）

能实现深度学习模型的包有许多，tensorflow,keras,pytorch,theano等等,自己选择keras是因为刚学习代码时，带我的学长使用的就是keras，我也就学习这个了。keras十分简洁，但正因如此，在其基础上进行改动有些麻烦，以至于中途想换tensorflow了，但发现tensorflow2.0以上就是tensorflow.keras了，几乎和keras一样，至于其到底和keras有哪些不同，也没去管。反正，目前使用keras体验还是非常不错的，完成了我需要完成的任务。keras如何安装

2020-06-19 17:33:49 3559 2

原创深度学习笔记及Keras实现细节分析（一）对机器学习与深度学习的理解

从开始学习深度学习领域到现在，差不多1年了，在自己的学习过程中，遇到了许多问题，开个博记录一些自己对这些问题的一些见解。希望自己能够不断进步，对深度学习更加精通。机器学习深度学习是机器学习的一个子领域，想了解深度学习，首先要对机器学习的概念、方法有一定的理解。机器学习的概念，百度百科中这样写道：机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。它是人

2020-06-18 22:07:11 356

flash_zhj的博客