m0_61363749的博客

小博前段时期忙于工作和学习，没有更新博客，也没有回复大家消息，请见谅！后期希望和大家继续研讨，有兴趣的朋友可以私信我。非粉丝朋友每天消息回复数量不能超过5次，所以为了维持良好的沟通，可以关注我。

本文罗列常见改进策略，并将其应用于麻雀优化算法（SSA）的改进上，并对比改进后的效果。

聚类是一种强大的非监督分类机器学习方法，其根据数据在特征空间中的邻近性挖掘数据背后隐藏的群体分布模式，广泛应用于信息科学、生物学、经济学等领域。尽管已有不计其数的聚类方法被提出，但现实数据分布中普遍存在的密度异质和弱连接特性仍然给聚类分析带来巨大挑战，导致不同密度的类簇很难通过统一的聚类参数设置被完整识别，而存在弱连接的不同聚类簇容易被误合并，严重制约了聚类分析的精度与鲁棒性。局部方向中心性聚类算法CDC能够有效克服现实数据分布中普遍存在的密度异质和弱连接性问题。

Correlogram会告诉我们很多关于时间序列的信息，包括趋势的存在、季节性变化和短期相关性。没有趋势或季节性，但在大值和小值之间重复震荡的时间序列数据如下图所示。没有趋势或季节性，但具有短期相关性的时间序列数据如下图所示，并且在lag值较小时具有明显的正自相关性，当lag值逐渐增大时，ACF逐渐接近零。具有趋势和季节性影响的时间序列数据如下图所示，并且在相关图中具有规则的季节性模式，由于趋势的存在，相关图通常具有正值。具有季节性影响的时间序列数据如下图所示，并且在相关图中会呈现规则的季节性模式。

考虑到小样本学习任务中support set和query set之间的数据差异，设计了一种致力于消除这种差异的元对比损失，来提高基于梯度的元学习模型在小样本学习任务中的性能。与无监督学习中传统的对比损失相比，这篇文章的方法侧重于任务级别，对齐模型空间中的参数矩阵，而传统的对比损失旨在对齐特征空间中的特征向量。大量实验表明，这篇文章的方法可以提高各种基于梯度的元学习模型的性能，并且在小样本学习的分类任务和回归任务中表现良好。

对于国内的科研学者，知网几乎是天天需要的。知网于我们而言就是检索下载文献的地方。那究竟如何高效利用知网呢？每个人应该都有自己的习惯和方法，没有最好的只有更适合自己的。本博文只是分享本人平时如何使用知网的，希望能给大家提供一些帮助，也欢迎大家分享更好的方法给我。............

前期博文介绍了图半监督方法，本博文先将图半监督方法与ELM结合用于分类，检验图半监督学习方法的有效性。图半监督极限学习机方法分为两步：①自动标记：基于图半监督算法自动给样本集中未标记的数据上标签；②再将新标记的数据和原少量带有标记的数据合并送入到ELM中进行训练，最后用训练好的ELM对测试集进行分类。......

前期博文提到经过两步smooth化之后，我们将一个难以收敛的函数逐步改造成了softmax交叉熵损失函数，解决了原始的目标函数难以优化的问题。Softmax 交叉熵损失函数是目前最常用的分类损失函数，本博文继续学习Softmax 交叉熵损失函数的改进，详细的理论参考论文《基于深度学习的人脸认证方法研究》，这篇论文真的太棒了，是我见过最优秀的专门针对损失函数进行深入研究的杰作。...

最近拜读了一名优秀学者的博士毕业论文，深受启发。论文题目《基于深度学习的人脸认证方法研究》。损失函数是控制整个深度神经网络训练的中枢，该论文将深入探究了深度学习中的机理，并把之前广泛用于的和多种用于的改造得更加适合的训练。该论文对传统的 Softmax 交叉熵损失函数以及新提出的一系列改进进行了大量的理论分析，有别于传统理论更多的偏向概率解释，该论文中提出的理论分析大多是基于特征、权重之间的几何关系与统计量进行的，由于特征与权重相比于Softmax 概率更加底层，因此能够得到更多的数学结论。......

本博文在半监督学习基础上，提出一种适用于小样本时间序列数据预测的图半监督学习方法。兼顾时间相关性和空间相关性，提出一种图半监督回归预测学习的整体思路。

机器学习中常见的生成模型有贝叶斯分类器，高斯混合模型，隐马尔可夫模型，受限玻尔兹曼机，生成对抗网络等。k折交叉验证将样本随机、均匀的分成k份，轮流用其中的k-1份训练模型，1份用于测试模型的准确率，用k个准确率的均值作为最终的准确率。判别模型直接得到预测函数f(x)，或者直接计算概率值p(y|x)，比如SVM和logistic回归，softmax回归，判别模型只关心决策面，而不管样本的概率分布的密度。偏差是模型本身导致的误差，即错误的模型假设所导致的误差，它是模型的预测值的数学期望和真实值之间的差距。...

前期博客介绍了机器学习基础概念和三要素，本期博客重点讲解三要素的算法部分，即学习模型的具体计算方法：首先是梯度下降法、牛顿法、拟牛顿法、坐标下降法，梯度下降法的改进型（AdaDelta，AdaGrad，Adam，NAG）等；其次是常用其他求解方法如拉格朗日乘数法、凸优化、拉格朗日对偶、KKT条件。......

机器学习基本概念：如特征空间、原本表达；机器学习三要素：模型、策略、算法

前期博文提出了融合Cat混沌映射+精英反向策略+tent扰动+柯西变异的改进麻雀优化算法（IAMSSA），本期博文将IAMSSA应用于VMD模态数K与 惩罚因子（也称平衡参数）alpha的优化，适应度函数为包络熵，以最小化包络熵为目标优化VMD的模态数K与 惩罚因子alpha。...

本博文仿真验证融合精英策略tent扰动和柯西变异的改进麻雀优化算法（IAMSSA）在函数极值寻优上的效果。改进点为：Cat混沌映射初始化种群、精英反向学习策略、动态调整发现者数量和意识到有危险麻雀数量 、改进探索者位置更新公式、tent扰动和柯西变异。......

深度混合核极限学习机的时间序列预测方法：首先采用多层ELM-AE实现抽象特征提取，然后将提取的抽象特征用来训练一个混合核极限学习机实现分类。深度混合核极限学习机实际上是由多层极限学习机+HKELM构成。............

核极限学习机KELM因其强大学习能力和泛化性能在分类、回归预测问上备受青睐，本篇博文将仿真试验贝叶斯优化和极限学习机用于回归预测的效果，并与未优化的核极限学习机KELM、混合核极限学习机HKELM进行对比。......

采用BiLSTM算法实现回归预测，并对BiLSTM的学习率，迭代次数，batchs ize，和各层节点数进行优化。

本文讲解ICEEMDAN分解方法，并分享代码。

采用常用优化算法优化SVM参数进行分类，如：GWO、WOA、AFSA、AO、BAT、GTO、HBA、MPA、POA、SSA、SMA、jSSA、HHO、EO、AOA、SO等优化方法。