![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 81
梵魉
emmmm……
展开
-
SNGAN(频谱归一化GAN)笔记
SNGAN(频谱归一化GAN)WGAN虽然性能优越,但是留下一个难以解决的1-Lipschitz问题,SNGAN便是解决该问题的一个优秀方案。在GAN中,Wasserstein距离拥有更好的数学性质,它处处连续,几乎处处可导且导数不为0,所以我们更多的使用Wasserstein距离。WGANcritic(判别器)的目标函数为:SNGAN便是一种“严格”地解决了判别器1-Lipshcitz约束的方法。1 最大特征值(奇异值)我们从矩阵的特征值、奇异值开始说起。在线性代数中,Ax=b表示对向量x做原创 2021-07-22 10:13:08 · 1627 阅读 · 0 评论 -
正则化(L1正则化、L2参数正则化)
正则化(L1正则化、L2参数正则化)L1范数正则化L2参数正则化正则化是机器学习中通过显式的控制模型复杂度来避免模型过拟合、确保泛化能力的一种有效方式。L1范数正则化L1范数正则化( L1 regularization 或 lasso )是机器学习(machine learning)中重要的手段,在支持向量机(support vector machine)学习过程中,实际是一种对于成本函数(cost function)求解最优的过程,因此,L1范数正则化通过向成本函数中添加L1范数,使得学习得到的结原创 2021-05-14 19:04:49 · 2091 阅读 · 0 评论 -
机器学习1:泛化(过拟合、欠拟合)
机器学习1:泛化(过拟合、欠拟合)泛化理解判断过拟合欠拟合机器学习中的逼近目标函数过程统计拟合机器学习中的过拟合机器学习中的欠拟合机器学习中好的拟合个人理解泛化就是让机器具有举一反三的能力机器学习(深度学习)的根本问题是优化和泛化之间的对立。泛化优化(optimization)是指调节模型以在训练数据上得到最佳性能(即机器学习中的学习),而泛化(generalization)是指训练好的模型在从未见过的数据上的性能好坏。机器学习的目的当然是得到良好的泛化,但是无法控制泛化,只能基于训练数据调节模型原创 2021-05-14 18:46:31 · 4651 阅读 · 0 评论 -
卷积神经网络笔记(1.卷积层)
卷积神经网络笔记(1.卷积层)卷积神经网络基本概念基本单位——神经元logistic回归模型多个神经元联合就是神经网络神经网络的训练方法也同Logistic类似,不过由于其多层性,还需要利用链式求导法则对隐含层的节点进行求导,即梯度下降+链式求导法则——[反向传播](https://blog.csdn.net/qq_51715775/article/details/115563241)卷积层前言简介三种情况单通道输入,单卷积核简介多通道输入,单卷积核简介多通道输入,多卷积核简介总结填充(padding)简介原创 2021-05-01 07:59:16 · 1075 阅读 · 1 评论 -
CRNN——卷积循环神经网络结构
CRNN——卷积循环神经网络结构简介构成CNNMap-to-Sequence图解RNNctcloss序列合并机制推理过程编解码过程代码实现简介CRNN 全称为 Convolutional Recurrent Neural Network,是一种卷积循环神经网络结构,主要用于端到端地对不定长的文本序列进行识别,不用先对单个文字进行切割,而是将文本识别转化为时序依赖的序列学习问题,就是基于图像的序列识别。CRNN可以用于解决基于图像的序列识别问题,特别是场景文字识别问题构成整个CRNN网络结构包含三部原创 2021-04-17 15:25:36 · 11631 阅读 · 0 评论 -
优化器整理
优化器整理梯度下降优化算法标准梯度下降法(GD)标准梯度下降法主要有两个缺点:批量梯度下降法(BGD)梯度下降中的困难梯度下降优化算法动量(momentum)NAG(Nesterov accelerated gradient)AdagradadadeltaRMSpropAdamAdaMaxNadamAMSGrad梯度下降变形形式批量归一化(BGD)随机梯度下降(SGD)优点缺点SGDM小批量梯度下降(MBGD)应用于简单分类问题的比较使用SGD优化器使用AdaGrad优化器使用Momentum优化器使用NA原创 2021-04-16 19:59:16 · 175 阅读 · 0 评论 -
“随着网络加深,准确率下降”的问题学习笔记
“随着网络加深,准确率下降”的问题梯度消失/爆炸网络的退化问题增加层数关于以上问题浅层网络架构基础上构建深层网络看到了一篇很有道理的说法原链接https://blog.csdn.net/weixin_39875161/article/details/94359617?utm_source=app&app_version=4.5.2随着网络层数的增加,训练的问题随之凸显。梯度消失/爆炸比较显著的问题有梯度消失/爆炸,这会在一开始就影响收敛。网络的退化问题在深层网络能够收敛的前提下,随着原创 2021-04-03 10:00:49 · 3717 阅读 · 1 评论