梵魉-CSDN博客

原创 SNGAN(频谱归一化GAN)笔记

SNGAN(频谱归一化GAN)WGAN虽然性能优越，但是留下一个难以解决的1-Lipschitz问题，SNGAN便是解决该问题的一个优秀方案。在GAN中，Wasserstein距离拥有更好的数学性质，它处处连续，几乎处处可导且导数不为0，所以我们更多的使用Wasserstein距离。WGANcritic（判别器）的目标函数为：SNGAN便是一种“严格”地解决了判别器1-Lipshcitz约束的方法。1 最大特征值（奇异值）我们从矩阵的特征值、奇异值开始说起。在线性代数中，Ax=b表示对向量x做

2021-07-22 10:13:08 1660

原创正则化（L1正则化、L2参数正则化）

正则化（L1正则化、L2参数正则化）L1范数正则化L2参数正则化正则化是机器学习中通过显式的控制模型复杂度来避免模型过拟合、确保泛化能力的一种有效方式。L1范数正则化L1范数正则化（ L1 regularization 或 lasso ）是机器学习（machine learning）中重要的手段，在支持向量机（support vector machine）学习过程中，实际是一种对于成本函数(cost function)求解最优的过程，因此，L1范数正则化通过向成本函数中添加L1范数，使得学习得到的结

2021-05-14 19:04:49 2128

原创机器学习1：泛化（过拟合、欠拟合）

机器学习1：泛化（过拟合、欠拟合）泛化理解判断过拟合欠拟合机器学习中的逼近目标函数过程统计拟合机器学习中的过拟合机器学习中的欠拟合机器学习中好的拟合个人理解泛化就是让机器具有举一反三的能力机器学习（深度学习）的根本问题是优化和泛化之间的对立。泛化优化（optimization）是指调节模型以在训练数据上得到最佳性能（即机器学习中的学习），而泛化（generalization）是指训练好的模型在从未见过的数据上的性能好坏。机器学习的目的当然是得到良好的泛化，但是无法控制泛化，只能基于训练数据调节模型

2021-05-14 18:46:31 4922

原创损失函数笔记

损失函数（loss）简介常用lossBCELossCELossMSELoss简介损失函数（loss function）或代价函数（cost function）是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。在应用中，损失函数通常作为学习准则与优化问题相联系，即通过最小化损失函数求解和评估模型。例如在统计学和机器学习中被用于模型的参数估计（parametric estimation），在宏观经济学中被用于风险管理（risk mangement）和决策，在

2021-05-02 00:37:10 578

原创卷积神经网络笔记（3.池化层）

卷积神经网络笔记（3.池化层）应用方面池化操作为什么可以通过降低维度一般池化（General Pooling）池化层Python实现正向传播（正向传播子函数）反向传播（逐行分解，剖析反向传播过程）它的提出是为了缓解卷积层对位置的过度敏感性。应用方面对输入的特征图进行压缩，一方面使特征图变小，简化网络计算复杂度；一方面进行特征压缩，提取主要特征池化操作池化操作一般有两种，一种是Avy Pooling,一种是max Pooling同样地采用一个2*2的filter，max pooling是在每一

2021-05-02 00:25:52 1821

原创卷积神经网络笔记（2.激活函数）

卷积神经网络笔记（2.激活函数）起源（感知机）梯度弥散现象现代模型常见激活函数（平滑连续激活函数）Sigmoid关于函数饱和的解释TanhReLU简介Leaky ReLU简介Softmax简介有关交叉熵应用起源（感知机）1958 年，美国心理学家 Frank Rosenblatt 就提出了第一个可以自动学习权重的神经元模型，称为感知机。一个简单的一层网络，其中激活函数是阶跃函数（最早使用的激活函数）这个感知机模型的公式表示为：其中的激活函数表示为：当wx+b<0时，令输出为0，代表类别

2021-05-01 23:57:35 1855

原创卷积神经网络笔记（1.卷积层）

卷积神经网络笔记（1.卷积层）卷积神经网络基本概念基本单位——神经元logistic回归模型多个神经元联合就是神经网络神经网络的训练方法也同Logistic类似，不过由于其多层性，还需要利用链式求导法则对隐含层的节点进行求导，即梯度下降+链式求导法则——[反向传播](https://blog.csdn.net/qq_51715775/article/details/115563241)卷积层前言简介三种情况单通道输入，单卷积核简介多通道输入，单卷积核简介多通道输入，多卷积核简介总结填充（padding）简介

2021-05-01 07:59:16 1363 1

原创 CRNN——卷积循环神经网络结构

CRNN——卷积循环神经网络结构简介构成CNNMap-to-Sequence图解RNNctcloss序列合并机制推理过程编解码过程代码实现简介CRNN 全称为 Convolutional Recurrent Neural Network，是一种卷积循环神经网络结构，主要用于端到端地对不定长的文本序列进行识别，不用先对单个文字进行切割，而是将文本识别转化为时序依赖的序列学习问题，就是基于图像的序列识别。CRNN可以用于解决基于图像的序列识别问题，特别是场景文字识别问题构成整个CRNN网络结构包含三部

2021-04-17 15:25:36 12118

原创优化器整理

优化器整理梯度下降优化算法标准梯度下降法(GD)标准梯度下降法主要有两个缺点:批量梯度下降法(BGD)梯度下降中的困难梯度下降优化算法动量（momentum）NAG（Nesterov accelerated gradient）AdagradadadeltaRMSpropAdamAdaMaxNadamAMSGrad梯度下降变形形式批量归一化（BGD）随机梯度下降（SGD）优点缺点SGDM小批量梯度下降（MBGD）应用于简单分类问题的比较使用SGD优化器使用AdaGrad优化器使用Momentum优化器使用NA

2021-04-16 19:59:16 182

原创反向传播算法(另梯度下降算法）笔记

反向传播算法（另梯度下降算法）定义算法推导一个具体的前向传播和反向传播算法的例子mse (均方误差）另两个问题梯度下降算法梯度数学解释梯度要乘以一个负号单变量函数的梯度下降多变量函数的梯度下降反向传播具体例子定义反向传播算法的定义（转自维基百科）：反向传播（英语：Backpropagation，缩写为BP）是“误差反向传播”的简称，是一种与最优化方法（如梯度下降法）结合使用的，用来训练人工神经网络的常见方法。该方法对网络中所有权重计算损失函数的梯度。这个梯度会反馈给最优化方法，用来更新权值以最小化

2021-04-10 11:19:19 994

原创 GAN基础入门笔记

GAN基础入门笔记简介GAN的基本框架定义一个恰当的优化目标或一个损失常见判别和生成模型常见的判别模型判别模型常见的生成模型生成模型似然函数注意GAN原理算法具体过程注意学习博客地址https://blog.csdn.net/qq_43390809/article/details/107203477?utm_source=app&app_version=4.5.2https://blog.csdn.net/qq_26972735/article/details/90109227?utm_sou

2021-04-09 07:51:40 120

原创 “随着网络加深，准确率下降”的问题学习笔记

“随着网络加深，准确率下降”的问题梯度消失／爆炸网络的退化问题增加层数关于以上问题浅层网络架构基础上构建深层网络看到了一篇很有道理的说法原链接https://blog.csdn.net/weixin_39875161/article/details/94359617?utm_source=app&app_version=4.5.2随着网络层数的增加，训练的问题随之凸显。梯度消失／爆炸比较显著的问题有梯度消失／爆炸，这会在一开始就影响收敛。网络的退化问题在深层网络能够收敛的前提下，随着

2021-04-03 10:00:49 3988 1

原创 ResNet(用pytorch搭建自己的网络ResNet)笔记

用pytorch搭建自己的网络ResNet笔记ResNet结构种类残差块代码实现注意实现不同结构的ResNet定义resnet网络测试ResNet结构种类ResNet一共有5个变种，其网络层数分别是18,34,50,101,152。主要区别在于使用的是两层残差块还是三层残差块，以及残差块的数量。ResNet-18和ResNet-34都是使用的两层残差块，而其余三个模型使用的是三层残差块，并且第三层的输出通道数为输入通道数的4倍。残差块公式为y=F（x）+x，在原来输出F（x）的基础上加上输入x

2021-03-26 08:19:10 2154

原创 ResNet深度残差网络结构学习笔记

ResNet深度残差网络结构引入问题ResNet介绍ResNet结构两种ResNet设计问题解决常用ResNet结构基于ResNet101的Faster RCNNResNet的公式引入问题面对复杂问题时，越深的网络往往会有更好的性能，但会发现，随着网络的加深，会出现训练集准确率下降的现象ResNet介绍为了解决这个问题，ResNet深度残差网络中的残差模块在输入和输出之间建立了一个直接连接，新增的层只需要在原来的输入层基础上学习新的特征，学习残差，允许网络尽可能的加深并且可以省时省步骤。其中Re

2021-03-25 17:07:31 1831 1

原创 Pytorch 1.数据处理学习笔记

数据处理数据预处理把原始数据处理为模型使用的数据数据处理格式的定义Compose() 代码数据处理初始化类和对数据进行加载把读入的输出传给PyTorch（迭代器的方式）数据加载dataset(Dataset)batch-size, shuffle, sampler, num_workers, collate_fn, pin_memory, drop_last补充数据预处理PyTorch使用torchvision来完成数据的处理，其只实现了一些数据集的处理，如果处理自己的工程则需要修改增加内容把原始数据

2021-03-25 15:48:55 111

原创聚态算法及其Python实现学习笔记

聚态简介相似度常见聚类方法聚类方法及其算法K-means简介算法思想算法流程算法优缺点DBSCAN简介算法思想算法流程算法优缺点高斯混合模型（GMM）简介GMM计算过程GMM相较于K-means的优势层次聚类简介简介聚类即物以类聚，实现将数据按照某一标准（相似度）将整个数据集分为若干子集（簇），最终的分类结果要尽量保证组内相似度尽可能大，组间相似度尽可能小。聚类是典型的无监督学习（Unsupervised learning），它与分类问题最明显的区别就是分类问题有事先的标注，而聚类的分组是完全

2021-03-09 17:07:57 783

qq_51715775的博客