m0_61363749的博客

原创 正式回归通知

小博前段时期忙于工作和学习，没有更新博客，也没有回复大家消息，请见谅！后期希望和大家继续研讨，有兴趣的朋友可以私信我。非粉丝朋友每天消息回复数量不能超过5次，所以为了维持良好的沟通，可以关注我。

原创 麻雀优化算法SSA及其改进策略

本文罗列常见改进策略，并将其应用于麻雀优化算法（SSA）的改进上，并对比改进后的效果。

原创 一种优雅简洁新颖的聚类算法——局部方向中心性聚类算法

聚类是一种强大的非监督分类机器学习方法，其根据数据在特征空间中的邻近性挖掘数据背后隐藏的群体分布模式，广泛应用于信息科学、生物学、经济学等领域。尽管已有不计其数的聚类方法被提出，但现实数据分布中普遍存在的密度异质和弱连接特性仍然给聚类分析带来巨大挑战，导致不同密度的类簇很难通过统一的聚类参数设置被完整识别，而存在弱连接的不同聚类簇容易被误合并，严重制约了聚类分析的精度与鲁棒性。局部方向中心性聚类算法CDC能够有效克服现实数据分布中普遍存在的密度异质和弱连接性问题。

原创 时间序列数据Correlogram图分析

Correlogram会告诉我们很多关于时间序列的信息，包括趋势的存在、季节性变化和短期相关性。没有趋势或季节性，但在大值和小值之间重复震荡的时间序列数据如下图所示。没有趋势或季节性，但具有短期相关性的时间序列数据如下图所示，并且在lag值较小时具有明显的正自相关性，当lag值逐渐增大时，ACF逐渐接近零。具有趋势和季节性影响的时间序列数据如下图所示，并且在相关图中具有规则的季节性模式，由于趋势的存在，相关图通常具有正值。具有季节性影响的时间序列数据如下图所示，并且在相关图中会呈现规则的季节性模式。

原创 元学习在小样本学习任务中的应用

考虑到小样本学习任务中support set和query set之间的数据差异，设计了一种致力于消除这种差异的元对比损失，来提高基于梯度的元学习模型在小样本学习任务中的性能。与无监督学习中传统的对比损失相比，这篇文章的方法侧重于任务级别，对齐模型空间中的参数矩阵，而传统的对比损失旨在对齐特征空间中的特征向量。大量实验表明，这篇文章的方法可以提高各种基于梯度的元学习模型的性能，并且在小样本学习的分类任务和回归任务中表现良好。

原创 如何高效检索论文文献

对于国内的科研学者，知网几乎是天天需要的。知网于我们而言就是检索下载文献的地方。那究竟如何高效利用知网呢？每个人应该都有自己的习惯和方法，没有最好的只有更适合自己的。本博文只是分享本人平时如何使用知网的，希望能给大家提供一些帮助，也欢迎大家分享更好的方法给我。............

原创 图半监督极限学习机用于分类

前期博文介绍了图半监督方法，本博文先将图半监督方法与ELM结合用于分类，检验图半监督学习方法的有效性。图半监督极限学习机方法分为两步：①自动标记：基于图半监督算法自动给样本集中未标记的数据上标签；②再将新标记的数据和原少量带有标记的数据合并送入到ELM中进行训练，最后用训练好的ELM对测试集进行分类。......

原创 softmax交叉熵损失函数深入理解（二）

前期博文提到经过两步smooth化之后，我们将一个难以收敛的函数逐步改造成了softmax交叉熵损失函数，解决了原始的目标函数难以优化的问题。Softmax 交叉熵损失函数是目前最常用的分类损失函数，本博文继续学习Softmax 交叉熵损失函数的改进，详细的理论参考论文《基于深度学习的人脸认证方法研究》，这篇论文真的太棒了，是我见过最优秀的专门针对损失函数进行深入研究的杰作。...

原创 softmax交叉熵损失函数的深度理解

最近拜读了一名优秀学者的博士毕业论文，深受启发。论文题目《基于深度学习的人脸认证方法研究》。损失函数是控制整个深度神经网络训练的中枢，该论文将深入探究了深度学习中的机理，并把之前广泛用于的和多种用于的改造得更加适合的训练。该论文对传统的 Softmax 交叉熵损失函数以及新提出的一系列改进进行了大量的理论分析，有别于传统理论更多的偏向概率解释，该论文中提出的理论分析大多是基于特征、权重之间的几何关系与统计量进行的，由于特征与权重相比于Softmax 概率更加底层，因此能够得到更多的数学结论。......

原创 适用于小样本时间序列预测的图半监督学习方法

本博文在半监督学习基础上，提出一种适用于小样本时间序列数据预测的图半监督学习方法。兼顾时间相关性和空间相关性，提出一种图半监督回归预测学习的整体思路。

原创 机器学习基础知识（3）

机器学习中常见的生成模型有贝叶斯分类器，高斯混合模型，隐马尔可夫模型，受限玻尔兹曼机，生成对抗网络等。k折交叉验证将样本随机、均匀的分成k份，轮流用其中的k-1份训练模型，1份用于测试模型的准确率，用k个准确率的均值作为最终的准确率。判别模型直接得到预测函数f(x)，或者直接计算概率值p(y|x)，比如SVM和logistic回归，softmax回归，判别模型只关心决策面，而不管样本的概率分布的密度。偏差是模型本身导致的误差，即错误的模型假设所导致的误差，它是模型的预测值的数学期望和真实值之间的差距。...

原创 机器学习基本知识（2）

前期博客介绍了机器学习基础概念和三要素，本期博客重点讲解三要素的算法部分，即学习模型的具体计算方法：首先是梯度下降法、牛顿法、拟牛顿法、坐标下降法，梯度下降法的改进型（AdaDelta，AdaGrad，Adam，NAG）等；其次是常用其他求解方法如拉格朗日乘数法、凸优化、拉格朗日对偶、KKT条件。......

原创 机器学习基本知识（1）

机器学习基本概念：如特征空间、原本表达；机器学习三要素：模型、策略、算法

原创 基于改进麻雀算法优化变分模态分解（IAMSSA—VMD）的信号分解方法

前期博文提出了融合Cat混沌映射+精英反向策略+tent扰动+柯西变异的改进麻雀优化算法（IAMSSA），本期博文将IAMSSA应用于VMD模态数K与 惩罚因子（也称平衡参数）alpha的优化，适应度函数为包络熵，以最小化包络熵为目标优化VMD的模态数K与 惩罚因子alpha。...

原创 融合Cat混沌映射+精英反向策略+tent扰动+柯西变异的改进麻雀优化算法（IAMSSA）

本博文仿真验证融合精英策略tent扰动和柯西变异的改进麻雀优化算法（IAMSSA）在函数极值寻优上的效果。改进点为：Cat混沌映射初始化种群、精英反向学习策略、动态调整发现者数量和意识到有危险麻雀数量 、改进探索者位置更新公式、tent扰动和柯西变异。......

原创 基于深度混合核极限学习机的多变量输入时间序列预测

深度混合核极限学习机的时间序列预测方法：首先采用多层ELM-AE实现抽象特征提取，然后将提取的抽象特征用来训练一个混合核极限学习机实现分类。深度混合核极限学习机实际上是由多层极限学习机+HKELM构成。............

原创 贝叶斯优化核极限学习机KELM用于回归预测

核极限学习机KELM因其强大学习能力和泛化性能在分类、回归预测问上备受青睐，本篇博文将仿真试验贝叶斯优化和极限学习机用于回归预测的效果，并与未优化的核极限学习机KELM、混合核极限学习机HKELM进行对比。......

原创 基于BiLSTM的回归预测方法

采用BiLSTM算法实现回归预测，并对BiLSTM的学习率，迭代次数，batchs ize，和各层节点数进行优化。

原创 MATLAB 的ICEEMDAN分解代码实现

本文讲解ICEEMDAN分解方法，并分享代码。

原创 优化算法优化支持向量机（SVM）进行分类

采用常用优化算法优化SVM参数进行分类，如：GWO、WOA、AFSA、AO、BAT、GTO、HBA、MPA、POA、SSA、SMA、jSSA、HHO、EO、AOA、SO等优化方法。

原创 天鹰优化的半监督拉普拉斯深度核极限学习机用于分类

天鹰优化的半监督拉普拉斯深度核极限学习机分类方法：首先采用拉普拉斯半监督深度ELM-AE实现抽象特征提取，然后将提取的抽象特征用来训练一个天鹰优化的核极限学习机实现分类。半监督拉普拉斯深度核极限学习机实际上是由半监督拉普拉斯多层极限学习机+KELM构成.........

原创 格拉姆角场GAF将时序数据转换为图像并应用于故障诊断

格抟姆角场能够将时间序列数据转换为图像数据，既能保留信号完整的信息，也保持着信号对于时间的依赖性。信号数据转换为图像数据后就可以充分利用CNN在图像分类识别上的优势，进行建模。...

原创 融合反向学习与 Levy 飞行策略的改进麻雀优化算法ISSA

文章《改进的麻雀搜索优化算法及其应用》针对麻雀搜索算法(SSA)在求解目标函数最优解时，种群多样性不丰富，易陷于局部最优和多维函数求解精度差等问题，提出改进的麻雀搜索算法(ISSA)。首先，利用初始化种群，增加种群多样性；然后，对进行动态调整，提高算法的求解精度；最后，对侦查预警的麻雀位置更新公式引入提高算法寻优能力和跳出局部极值的能力。本文复现了该论文所提的改进麻雀搜索算法(ISSA)，并将其与常规GA、PSO、SSA算法进行对比。......

原创 VMD结合ISSA优化LSSVM功率预测

本文测试VMD结合ISSA优化LSSVM的功率预测方法①VMD实现多尺度分解，以获取细节信息；②采用改进的SSA算法（ISSA算法）用于优化LSSVM的参数，实现功率预测。ISSA简介文章《改进的麻雀搜索优化算法及其应用》针对麻雀搜索算法(SSA)在求解目标函数最优解时，种群多样性不丰富，易陷于局部最优和多维函数求解精度差等问题，提出改进的麻雀搜索算法(ISSA)。首先，利用反向学习策略初始化种群，增加种群多样性；然后，对步长因子进行动态调整，提高算法的求解精度；.........

原创 GRNN、RBF、PNN、KELM之间究竟有什么联系？

0、前言 GRNN广义回归神经网络、RBF径向基函数神经网络、PNN概率神经网络、KELM核极限学习机，这是四种常用的机器学习方法，有太多相关博文对各算法的理论进行了介绍，对各方法的优缺点进行了分析。限于本人理论水平有限，表达能力有限，本篇博文不说公式，不搬理论，目的只是让初学者明白这四种方法的底层含义。温馨提示：热衷于看理论分析和公式推导，并且能毫无障碍得懂的，请绕道，本文太浅薄也许不太符合你的审美。1、前期思想准备①径向基函数（别慌，不说公式）：这个说到底就是度量两个样本间相似...

原创 matlab的2DCNN、1DCNN、BP、SVM故障诊断与结果可视化

0、前言 本文针对十分类轴承故障诊断问题，采用四种经典方法2DCNN、1DCNN、BP、SVM进行建模，并对比最终结果。1、理论介绍 BP和SVM理论不再进行描述。1DCNN指的是采用一维卷积，2DCNN采用二维卷积，相关理论请参考论文《一种用于轴承故障诊断的二维卷积神经网络优化方法》。该论文提出一种新的数据预处理方式，将原始时域信号数据转换成二维灰度图像来提取转换后的图像特征，消除手工特征的影响；同时，在验证分类前对实验采集故障数据集添加了降噪处理，并对卷积神经网络......

原创 基于子空间结构保持的迁移学习方法MLSSM

0、前言 在前期博文中本人引出了无监督特征对齐的迁移学习理论框架地址，本文在该篇博文基础上提出一种基于子空间结构保持的迁移学习算法（命名为：MLSSM）。主要思想：首先提取目标域数据的子空间结构，子空间结构表征了目标域数据的结构分布特性；然后对源域数据进行线性转换，使得转换后的数据与目标域数据具有相同的子空间结构1、 子空间结构的获取数据定义： ① 源域： ② 目标域： ③源域转换矩阵：子空间结构获取： 为了获取数...

原创 子空间结构保持的多层极限学习机自编码器（ML-SELM-AE)

0、前言 非线性无监督降维方法极限学习机自编码器 (Extremelearningmachine,ELM-AE) 因其学习速度快、泛化性能好,近年来被广泛应用于降维及去噪。为使高维数据投影至低维空间后仍能保持原有子空间结构，提出基于子空间结构保持的多层极限学习机自编码器降维方法 (Multilayerextremelearningmachineautoencoderbasedonsubspacestructurepreserving,ML-SELM-AE)。该方...

原创 基于时序模式注意力机制（TPA）的长短时记忆（LSTM）网络TPA-LSTM的多变量输入风电功率预测

0 前言1、TPA理论注意力机制（Attention mechanism）通常结合神经网络模型用于序列预测，使得模型更加关注历史信息与当前输入信息的相关部分。时序模式注意力机制（Temporal Pattern Attention mechanism, TPA）由 Shun-Yao Shih 等提出（Shih, Shun-Yao, Sun, Fan-Keng, Lee, Hung-yi. Temporal Pattern Attention for Multivariate Time Series

原创 基于HHO/GTO/EO/SCA/BOA/WOA/HBA/PSOBOA/HPSOBOA等9种优化算法优化LSTM的时间序列预测

原创 黏菌优化算法SMA与算术优化算法AOA及其联合改进

0、简介 黏菌优化算法(Smile Mould Algorithm, SMA)和算术优化算法(Arithmetic Optimization Algorithm,AOA)是最近提出的新型元启发式优化算法。SMA 算法具有较强的全局探索能力，但迭代后期振荡作用较弱，易陷入局部最优，且收缩机制不强，导致收敛速度慢。AOA 算法利用乘除算子进行位置更新，随机性强，具有较好的避免早熟收敛能力。针对上述问题，文章《融合随机反向学习策略的黏菌与算术混合优化算法》将两种算法结合并利用随机反向学习策略提高收敛速度..

原创 基于黏菌优化算法SMA优化LSTM的时间序列预测

0 引言 基于LSTM进行时间序列预测方法简单有效。LSTM的出现为时间序列预测提供了一个新的研究方向。然而，与大部分网络模型一样，LSTM效果受其超参数设置的影响。为此，本文采用黏菌优化算法AOA优化LSTM网络超参数，建立SMA-LSTM模型, 实例验证表明 , SMA-LSTM 模型的预测效果明显提高。1 原理1.1 LSTM原理1.2 黏菌优化算法 黏菌优化算法Slime Mould Algorithm（SMA）是由 Li等人于 2020年...

原创 基于算术优化算法AOA优化LSTM的时间序列预测

0 引言 基于LSTM进行时间序列预测方法简单有效。LSTM的出现为时间序列预测提供了一个新的研究方向。然而，与大部分网络模型一样，LSTM效果受其超参数设置的影响。为此，本文采用算术优化算法AOA优化LSTM网络超参数，建立AOA-LSTM模型, 实例验证表明 , AOA-LSTM 模型的预测效果明显提高。1 原理1.1 LSTM原理1.2 算术优化算法算术优化算法(Arithmetic Optimization Algorithm, AOA)是...

原创 基于爬行动物搜索RSA优化LSTM的时间序列预测

Reptile Search Algorithm (RSA)

原创 基于EEMD+GRU+MLR的时间序列预测

0、前言文章《基于 EEMD-GRU-MLR 的短期电力负荷预测》中，通过构建集合经验模态分解(ensemble empirical modedecomposition，EEMD)以及门控循环单元神经网络(gated recurrent unit neural network，GRU)和多元线性回归(multiplelinear regression ， MLR) 组 合 而 成 的EEMD-GRU-MLR(EGM)预测方法，有效提高了电力负荷短期预测精度。具体理论可参考该文献。1、EEMD+GRU

原创 多元宇宙算法MVO及其改进复现

0、MVO简介 群智能技术是一种基于群体迭代搜索的随机式优化方法，因其潜在的并行性、分布式搜索和全局搜索能力较强等特点，成为近年来的研究热点。不同学者针对上述群体仿生优化方法，在算子改进、算子融合、搜索技术、隔离技术等方面进行了大量的研究，数值实验表明这些基本的启发式方法针对低维度问题具有一定的优越性，但面对大规模问题也存在着陷入局部极值、优化能力一般、收敛精度不高等问题。 文献《Multi-verse optimizer: A nature-inspired algor...

原创 无监督特征对齐的迁移学习理论框架

0、前言 文献《基于无监督特征对齐的变负载下滚动轴承故障诊断方法》引入迁移学习中能够实现无监督领域适应的子空间对齐(subspace alignment，SA)算法并进行改进，提出将核映射方法与 SA 算法相结合。将训练数据和测试数据映射到相同高维空间，在高维空间的子空间进行特征对齐，以增加数据类间区分性，实现不同负载下源领域特征向目标领域特征对齐。具体理论可参考该文献。1、无监督特征对齐 首先，究竟应该如何理解“对齐”？先看下述分析。 无监督特征对齐...

原创 自适应迁移学习核极限学习机用于预测

目录0、前言1、自适应迁移学习核极限学习机原理1.1 结构风险最小化1.2 联合分配1.3 流行正则化1.4 核极限学习机模型参数​求解公式1.5 自适应迁移学习核极限学习机训练1.6 说明2、分类效果0、前言 引入迁移学习知识，通过迭代的方式循环更新核极限学习机。首先训练核极限学习机为目标域预测伪输出值，利用联合分布适配对齐两域分布，以减小分布差异；其次，通过流形正则化对目标域数据进一步利用，挖掘数据的潜在分布几何结构，学习目标域数据分布信息；...

原创 边界流行嵌入（MME）与核边界流行嵌入（KMME）特征提取方法验证对比

0、前言 前期博文分析了MME方法的理论以及优缺点，本文承接该文进行MME方法验证及其改进算法的实现。本文讲述第一点改进——非线性改进，提出核边界流行嵌入KMME方法。KMME与现有的基于核理论的降维方法类似，都是将原有数据空间通过核变换映射到高维空间，然后在高维空间中进行对应的（线性）降维。1、KMME理论 ......

原创 边界Fisher分析（MFA）及其非线性改进核边界Fisher分析（KMFA）的验证对比

0、前言 前期博文讲述了MFA相关理论及其可以改进的点，本期文章对MFA进行非线性改进，提出核边界Fisher分析（KMFA）方法，并将MFA与KMFA在相同数据集上进行验证对比分析。MFA理论介绍见前期博文，本文不再赘述。1、核边界Fisher分析（KMFA）理论 核心思想：将原始数据集X通过核映射转换到无限维特征空间，然后在新的高维空间应用MFA进行特征提取。 目标函数： 其中：2、验证对比分析 （1...