一套煎饼-CSDN博客

原创 ResNet (深度残差网络)

解决的核心问题：网络的退化现象网络层数在变深之后，性能不如浅层时候的性能。注意：网络退化既不是梯度消失也不是梯度爆炸。那是如何解决退化现象的呢？引入残差模块把模型的输入分成两条路：右边的支路为跳跃链接，将输入进行恒等映射。左边的结构为两层神经网络，这个模块的含义是不需要输入去拟合底层真正的分布，而是在输入的基础上进行哪些修改，只要拟合残差就行。（加了残差模块只会比原来的更好）真正的残差模块是很多层堆叠起来的。如上图所示残差：真实值和预测值之间的偏差问题：能不能无限层数的进行对堆叠？

2023-05-20 11:20:13 1674

原创快速傅里叶变换——FFT

2，用一个公式来表示一下，这个公式的意义就是用来分解信号的，因为之前说FFT使用一个个正弦波来表示时域信号的，所以我们要确定正弦信号和时域信号的相关性，并且这个正弦波也要匹配块长度。上面的这个图就是加上传函数之后出现的FFT频谱图，但是可以看到激波的Bin比较宽，出现这个线性的原因是因为和快长度有关，如果提高块长度，那么分辨率就会变高，那么就会出现一个比较窄的Bin。其中，块长度也就是样本的数量跟FFT采集的周期有直接的关系，块长度对频率分辨率有直接的影响，假设采样的频率是48kHZ,块长度是512。

2022-09-13 10:10:28 25358 1

原创分数傅立叶变换的性质

在坐标系当中，当旋转角度到90°的时候就退化为傅里叶变换，当旋转角度逐渐趋近于0的时候，能不能退化为时域呢？首先对分数傅立叶变换的系数进行处理，我们想得到的表达式如下图所示，进行这样的处理有助于后期的推导。带有s的项放在一起，带有t的项放在一起，带有u^2的项是要保留的，因为想保留的是t。角度的分数傅里叶变换，对应的变量是t和u, 在后续的证明当中就是想办法把s去掉。当P＝1的时候，可以把分数傅里叶变换的积分核退化为傅里叶变换的积分核形式。＝Π/2时，旋转角度是90°的时候，对应到的是频域，当。

2022-09-02 19:31:26 861 3

原创分数傅里叶变换——FRFT

再将这部分内容之前看一个背景知识：对于任意的一个函数f(t)都可以表示为Hermite多项式的加权和，之所以可以这样表示是因为Hermite多项式构成类一组完备正交基。（对于任意一个函数必然可以被完备正交基进行表示）其中系数an表示为如下：类似于傅里叶当中系数的求解方式是一样的：得出的结论就是分数傅里叶算子和Hermit函数密切相关，而对于任意一个函数，可以有由Hermit多项式进行表示。如果被分数傅里叶算子作用在函数f(t)上，根据对应的形式能不能推导出积分核形式的定义。

2022-09-02 18:15:52 7114

原创《基于麻雀搜索算法的深度信念网络的改进与应用》

一篇会议文章~~~，结尾推荐值得可看的同类型文章~~欢迎留言一起讨论！抽象深度信念网络（DBN）是深度学习（DL）领域最流行的网络结构之一。它由多个受限玻尔兹曼机（RBM）和一个输出层组成，通过逐层特征提取和BP网络的向后微调，使其具有很强的特征提取和非线性映射能力。然而，它主要受隐藏层中神经元节点数量的影响。神经元太少会导致DBN模型出现欠拟合问题，反之，神经元过多也会导致DBN模型遭受过拟合，因此DBN模型的性能很难直接得到满足，导致其应用存在一些局限性。为此，提出一种基于麻雀搜索算法的改进DBN模型，

2022-07-04 17:18:45 586 4

原创《基于参数优化深度置信网络的齿轮故障严重程度检测（基于麻雀搜索算法）》

作者：盖景波突出提出一种基于麻雀搜索算法（SSA）的DBN参数优化方法SSA可以通过主观经验减少选择DBN参数引起的随机性和不稳定性。提出一种采用参数优化DBN的齿轮故障严重性检测方案参数优化的DBN 模型能够有效地自适应地从相似度高的故障信号中提出深层特征。与其他诊断方法相比，这种新型故障严重性检测方法具有更高的检测精度和更高的稳定性。抽象在齿轮故障诊断中，目前大多数只能故障诊断方法在故障识别方面表现出良好的分类性能。然而，然而，在检测故障严重程度时，由于监测信号之间的相似性高，诊断难度增加，需要提高诊断

2022-07-01 10:56:39 255

原创吉布斯采样

回顾一下MC 采样：f(x)是已知的概率分布函数，现在找到一系列的x服从这个概率分布。也就是在f(x）当中抽取一些样本x。后来就提出了：F(x)是f(x)的累积概率分布，只需在0到1上均匀采样得到i，然后将这个样本带到F(x)的反函数当中得到Xi.这个Xi服从F(x)的概率分布那一定服从f(x)的累积概率密度分布。现在面临的一个问题是：F(x)已经有了就能采出Xi，但是现在f(x)是已知的，对F(x)求积分不一定好求。后来冯诺依曼提出了另一个方法，假设一个q(x), 因为q(x)的积分比较好求，然后采

2022-06-26 11:29:06 2961

原创 DBN（深度置信网络）

受限玻尔兹曼机：提取特征用的，两层的结构。可见层和隐藏层，可见层输入以后，通过权值和偏置的叠加，变成概率的计算，决定隐藏层出现什么样的数据。而隐藏层可以反过来重构可见层，一直以这样的规则继续下去。这个过程就是吉布斯采样，吉布斯采样是一个逐渐逼近玻尔兹曼分布，最终的理想结果是最终迭代的结果和预先训练好的向量，达到分类的目的。除了分类的用途，另一个用途是，因为隐藏层在不断的迭代过程中会逐渐在一个概率范围内，这些概率就是输入进去的特征，在隐藏层抽取的特征是计算的概率。这些抽取的概率可以达到压缩数据的目的。受限玻尔

2022-06-07 14:16:17 24274

原创 GCN/GNN

图这个数据结构与之前讨论的文本是一个序列，图片是一个矩阵来说，图更加的复杂。对图神经网络的简单介绍。简介：图神经网络被用在处理图的结构和性质上面，构建一个图神经网络需要什么模块上现在的图神经网络是一个比较新的领域博客分成四个部分：首先是解释什么数据可以表示成一张图；图跟别的数据有什么不一样的？构建一个GNN，看一下各个模块长什么样子；提供一个GNN 的playground解释什么是图：就是表示一些实体之间的关系，所谓的实体就是一些点，关系就是一些边；从左到.

2022-05-31 15:47:07 2123

原创《基于卷积网络的修剪图特征学习，用于工业过程的故障诊断》论文阅读

作者：余建波突出提出一种修剪图卷积网络（PGCN）来学习过程变量的特征。功能学习可提高故障检测和诊断性能。 PGCN为过程故障诊断提供了一种有效的方法在连个基准测试过程中验证了PGCN的可行性和有效性抽象故障诊断模型的一个主要特性是从过程信号当中提取有效特征。但是，他们仍然难以构建输入数据之间的特征关联。本文提出了一种新的图神经网络-修剪图神经网络（PGCN），基于图数据进行特征学习。一维过程数据通过图形构造方法转换成图形数据。图卷积网络（GCN）用于提取过程数据的特征。 PG

2022-05-28 15:22:55 1322 3

原创残差网络—ResNet

ResNet-34再34层的ResNet的结构简图当中：首先是卷积层，然后是池化层，有连接线的结构就是一个残差结构再这个34层的ResNet是由一系列的残差结构组成的。最后通过一个平均池化层以及一个全脸基层也就是输出层组成的。这个网络的结构十分简单，基本就是堆叠残差结构组成的。ResNet结构的一些亮点：超深的网络结构（突破了1000层）提出residual模块使用BN加速训练简单的堆叠卷积层和池化层行不行？左边的图（论文当中），再堆叠在20层的网络结构的时候，模型的.

2022-05-19 16:47:01 11664

原创 BN—批量归一化

对于深度网络的训练是一个复杂的过程，只要是网络的前几层参数发生变化，后面基层就累计放大下去。一旦网络某一层的输入数据发生了变化，那么这一层网络就需要去适应学习这个新的数据的分布，所以在训练的过程中。训练数据一直发生变化，那么会将影响网络的训练速度。BN要解决的是在网络的训练过程中，中间层数据分布发生变化的情况。核心的想法是：尝试把一个小批量里面的均值和方差固定住，这个均值和方差是根据当前的数据算出来的。和是一个可以学习的参数。可以学习的是和，对每一个特征有一个对应的值作用在全连接层和

2022-05-18 15:46:41 337

原创深度学习——Dropout层

在深度学习当中常用的技术就是防止过拟合化的。在模型的训练阶段，让隐藏的神经元一部分工作，一部分不工作。（1）神经元工作与不工作的比例是在写程序的时候可以设置参数的。（2）把输入x通过修改后的网络前向传播，然后把得到的损失结果通过修改的网络反向传播。一小批训练样本执行完这个过程后，在没有被删除的神经元上按照随机梯度下降法更新对应的参数（w，b）。在做权重的调整的时候，只是对没有删除（工作的）的神经元做调整。整个模型在训练结束，模型在做测试的阶段是向左边的标准的神经网络。（3）继续重复下

2022-05-18 14:17:42 2989

原创模型选择+欠拟合和过拟合

模型选择怎么去选超参数训练误差和泛化误差训练误差：模型在训练数据上的误差（指模型看到的数据上有标号的数据上的误差）泛化误差：模型在新数据上的误差（我们所关心的是这个，是在新的数据上的误差）训练误差好并不代表着泛化误差好。怎么计算训练误差和泛化误差呢？一般来说有两种数据集，一个是验证数据集，另一个是测试数据集。验证数据集一个用来评估模型好坏的数据集。我们经常讲训练数据集分成一半一半，其中的一般是用来训练我们的模型参数，另一半验证数据集就是讲我们训练好的模型在验证数据集上测试一下

2022-05-15 11:17:00 223

原创混淆矩阵（Confusion Matrix）

假设现在有一个分类器A,这个分类器A的作用是告诉一张图片是不是汉堡，那我想知道这个分类器A的效果好不好，应该怎么办呢？最简单的方法是将大量的样本放进到费雷其A当中，让他自己判断这些图片是不是汉堡。经过上面的过程就可以得到一张表格：实际上这张表格是非常庞大的。有成千上万的图片，当他的维度十分大的时候是没办法看出来的。现在就是用一种方法能够直观地表示实验结果，但是又不损失其中的信息，那看一下他的输出结果都有什么样的情况，正式的类别就两种情况，他是汉堡和不是汉堡。而预测类别也是两种情况是汉..

2022-05-14 15:24:53 28758 2

原创迁移学习和微调在CV中的应用

迁移学习的出发点：1.希望能在一个任务上学习一个模型然后可以用来解决一个相关的别的任务。2.迁移学习的出圈是在深度学习上，因为我们在深度学习里面训练很多的深层的神经网络，这些神经网络需要很多的数据，并且训练的代价也是很大的。意味着我们对一个任务很难去做一个很大的训练集，如果我们在一个任务上训练好的模型能在别的任务上能用是最好的了。迁移学习在途径上的几种方法:1.最简单的，训练好一个模型做成一个特征提取的模块（比如说：在文本上训练一个单层的神经网络然后每一个次会对应一个特征，然后用这个特征去做

2022-05-13 17:13:07 741

原创《基于卷积神经网络的深度迁移学习，用于燃气轮机燃烧室的故障检测》论文阅读

作者：白明亮，杨旭生突出•深度迁移学习首先用于燃气轮机燃烧室的诊断。•基于CNN的微调首先用于提取燃气轮机之间的共享特征。•深度学习在燃气轮机诊断中的优越性得到了验证。•详细的可视化首先揭示了如何在燃气轮机之间共享要素。抽象基于数据驱动的故障检测的研究需要大量的历史数据，但是，对于运行时间比较短的新型燃气轮机，可用的历史数据相当少，可用的故障数据更少针对上面提出的问题。本文：首先提出燃汽轮机组故障诊断的概念。其次提出深度迁移学习首次被引入到燃气轮机燃烧室的故障检测当中

2022-05-12 16:56:09 1409 7

原创（15）—自注意力机制（上）

network架构——self attention解决的问题是：network的输入是一个向量，但是如果输入是一排向量的时候，而且输入向量的数目是会发生改变的呢？应该怎么处理呢？举例：输入是个序列长度很长第一个例子是文字处理，假设现在的输入是句子，并且每个句子的长度是不一样的，把每个句子当中的词当作一个向量来描述的话，那我们模型的输入就会是一个vector set，并且这个vector set的大小取决于句子的长度。那怎么把词汇表示成向量呢？最简单的做法是：one-hot Encodin

2022-05-12 14:35:06 410

原创 (14)-CNN(卷积神经网络)

现在开始探讨神经网络的架构-CNN专门用在影像上的图片的分类：现在给定一张图片，来判断这张图片里面有什么东西，怎么操作呢？假设模型输入的图片大小是固定的，（尽管输入的图片可能大小不一样，但是现在影像处理系统中的图片都设成是一样的），模型的目标是分类，所以会把每一个模型表示成One-hot的factor ，目标叫做，在这个One-hot的factor 里面，假设我们现在类别是一只猫的话，猫所对应的大小的数值是1 ，其他东西所对应的大小数值是0 ，dimension对应的长度就决定了现在的模型可以辨

2022-05-10 16:22:28 965

原创（13)Gradient Descent

举例说明：地图上的海拔就是loss function的值，现在来找海拔的最低点，现在调整参数的值，找到loss最低的地方，用gradient descent的方法怎么做呢？首先是找一个随机初始的地方，让这个随机的点往比较低的地方走，一直走到最低的点，所以这个最低的点就是local minima，那这个local minima是不是goabl minima呢？但是我们是不知道的。哪有人就会问为什么用gradient descent的方法更新参数得到的loss不降反增呢？举例说明：从开始的起点用gr

2022-04-20 20:37:17 134

原创 (11)-4类神经网络训练不起来怎么办？

Classification(快的方法将分类是怎么做的)问题：分类就是回归吗？我们已经知道regression的模型是：输出的y是数字，我们现在要讲正确的y也就是也要变成数字，使得两个y接近。接下来做的事情就是让y和y的编号越接近越好。假设现在class1的编号是1，class2的编号是2，class3的编号是3，那现在就是说class1和class2相似，class1和class3不同。那像这样表示class的方式有时候可行，有时候不行。所以在做分类的时候，经常把cla..

2022-04-20 20:20:49 1147

原创（10）-3类神经网络训练不起来怎么办？

critical point 不一定是训练当中最大的障碍，今天讲的是Adaptive Learning Rate（自适应学习率）的技术。当loss函数随着参数的更新的时候，遇到critical point时loss不再更新，此时的gradient非常小，但是有确认过当loss不在下降的时候，gradient真的很小吗？从上面的这个图可以看出虽然loss不在下降，但是gradient的大小没有真的变得很小，出现这样的情况的原因是什么呢？根据error surface可以知道，gradient在

2022-04-17 15:22:14 3096

原创（9）-2类神经网络训练不起来怎么办？

BatchReview:Optimization with Batchbatch是怎么做的呢？实际上我们我们再算微分的时候，不是真的对所有的数据算出来的L作微分，而是将L 分成N 个batch，当我们更新参数的时候是将其中的一个Batch拿出来算gradient，然后在更新参数。再拿另一个batch算gradient ，更新参数，以此类推，并不是拿所有的的数据一起去算Loss.将所有的batch算一遍的方法叫做1 epoch。实际上在做batch的时候会做一件事情叫做shuffle，shuffl

2022-04-16 16:59:10 3131

原创 (8)-1类神经网络训练不起来怎么办？

Optimization Fails because.....(优化为什么会失败？)随着参数的不断更新，但是training loss下降到某个地方不会再下降，但是对现在的loss不满意，所以优化是有问题的。或者是一开始不管怎么样更新参数，training loss不会发生什么样的改变，过去的一个猜想是gradient 接近于0.当微分是0的时候gradient descent就没办法更新参数了，但并不是卡在了local minima处，并不是只有再local minima处的gradien它等于0 ，

2022-04-15 20:37:43 671

原创（7）逻辑回归（Logistic Regression）

第一步：函数的创建我们想找的是(C1|x):如果(C1|x)≥0.5，输出的就是C1，反之，输出的就是C2,如果用高斯函数的话，得到的结果就是（上一节讲到的）所以最终得到的function set：（包含所有的w,b）用图像来表示的话：（输出的值介于0到1之间）上面的这一系列的操作叫做Logistic Regression的函数现在将Logistic Regression和linearRegression做一下比较：两者的第一步：函数的创建第二步：...

2022-04-14 18:12:57 557

原创（6）分类

分类的作用：金融，医疗诊断，手写字体，人脸辨识应用的例子讲解分类问题：宝可梦有十八种不同的属性，现在做的就是输入一只宝可梦，输出的是这只宝可梦的属性是什么因为函数的输入是一只宝可梦，但是我们要用数字来表示宝可梦（因为宝可梦是由很多的特性的，并且这些特性是可以用数值来表示的的）。（这张图的意思就是我们现在假设的是一只皮卡丘，他的各种属性都是可以用不同的数值来表示的，并且这些数值都是可以用一个向量来表示，所以一只宝可梦就是一组由七个数字组成的向量）我们现在的问题就是将这组...

2022-04-14 14:26:53 428

原创 (5) Regression

股票预测系统：这一个函数输入是过去十年的股票资料，输出是明天道琼工业指数的点数无人车：输入是无人车的红外线感测的传感器，影响的镜头所看到的是马路上的东西等，输出是方向盘的角度。推荐系统：输入就是使用者A或者是商品B，输出的就是购买的可能性。例子的应用：预测宝可梦的CP值（宝可梦的战斗力）今天所讲的例子就是找一个函数，输入是宝可梦相关的function，输出的是进化后的CP值:还进化之前的CP值:是属于什么物种：生命值是多少和：重量和身高输出y:进化后的...

2022-04-13 16:26:13 454

原创（4）反向传播（BP）

BP 这个algorithm（算法）是怎么运作的呢？怎么样让neural network的training变得比较有效率？当用GD 方法的时候跟LR的做法是一样的都是选定参数，计算微分，更新参数按这样的步骤遗址进行下去，但是在neural network里面我们有非常多的参数，我们要做语音辨识系统的时候在neural network通常有7，8层，每层里有很多的神经元，所以上图中的向量当中有很多很多的元素，所以现在的事情就是如何有效的把这一个百万维的向量计算出来？（下面图中的这个向量）这个就是BP

2022-04-10 15:47:25 577

upupyon996deqing的博客