![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 88
机器猫001
这个作者很懒,什么都没留下…
展开
-
麻雀优化算法SSA及其改进策略
本文罗列常见改进策略,并将其应用于麻雀优化算法(SSA)的改进上,并对比改进后的效果。原创 2022-11-10 10:16:25 · 12531 阅读 · 38 评论 -
一种优雅简洁新颖的聚类算法——局部方向中心性聚类算法
聚类是一种强大的非监督分类机器学习方法,其根据数据在特征空间中的邻近性挖掘数据背后隐藏的群体分布模式,广泛应用于信息科学、生物学、经济学等领域。尽管已有不计其数的聚类方法被提出,但现实数据分布中普遍存在的密度异质和弱连接特性仍然给聚类分析带来巨大挑战,导致不同密度的类簇很难通过统一的聚类参数设置被完整识别,而存在弱连接的不同聚类簇容易被误合并,严重制约了聚类分析的精度与鲁棒性。局部方向中心性聚类算法CDC能够有效克服现实数据分布中普遍存在的密度异质和弱连接性问题。原创 2022-10-08 15:38:14 · 1933 阅读 · 4 评论 -
元学习在小样本学习任务中的应用
考虑到小样本学习任务中support set和query set之间的数据差异,设计了一种致力于消除这种差异的元对比损失,来提高基于梯度的元学习模型在小样本学习任务中的性能。与无监督学习中传统的对比损失相比,这篇文章的方法侧重于任务级别,对齐模型空间中的参数矩阵,而传统的对比损失旨在对齐特征空间中的特征向量。大量实验表明,这篇文章的方法可以提高各种基于梯度的元学习模型的性能,并且在小样本学习的分类任务和回归任务中表现良好。原创 2022-08-23 16:02:08 · 2106 阅读 · 0 评论 -
图半监督极限学习机用于分类
前期博文介绍了图半监督方法,本博文先将图半监督方法与ELM结合用于分类,检验图半监督学习方法的有效性。图半监督极限学习机方法分为两步:①自动标记:基于图半监督算法自动给样本集中未标记的数据上标签;②再将新标记的数据和原少量带有标记的数据合并送入到ELM中进行训练,最后用训练好的ELM对测试集进行分类。......原创 2022-08-16 17:34:11 · 652 阅读 · 0 评论 -
softmax交叉熵损失函数深入理解(二)
前期博文提到经过两步smooth化之后,我们将一个难以收敛的函数逐步改造成了softmax交叉熵损失函数,解决了原始的目标函数难以优化的问题。Softmax 交叉熵损失函数是目前最常用的分类损失函数,本博文继续学习Softmax 交叉熵损失函数的改进,详细的理论参考论文《基于深度学习的人脸认证方法研究》,这篇论文真的太棒了,是我见过最优秀的专门针对损失函数进行深入研究的杰作。...原创 2022-08-11 18:36:08 · 8506 阅读 · 1 评论 -
softmax交叉熵损失函数的深度理解
最近拜读了一名优秀学者的博士毕业论文,深受启发。论文题目《基于深度学习的人脸认证方法研究》。损失函数是控制整个深度神经网络训练的中枢,该论文将深入探究了深度学习中的机理,并把之前广泛用于的和多种用于的改造得更加适合的训练。该论文对传统的 Softmax 交叉熵损失函数以及新提出的一系列改进进行了大量的理论分析,有别于传统理论更多的偏向概率解释,该论文中提出的理论分析大多是基于特征、权重之间的几何关系与统计量进行的,由于特征与权重相比于Softmax 概率更加底层,因此能够得到更多的数学结论。......原创 2022-08-11 12:57:54 · 1802 阅读 · 0 评论 -
机器学习基础知识(3)
机器学习中常见的生成模型有贝叶斯分类器,高斯混合模型,隐马尔可夫模型,受限玻尔兹曼机,生成对抗网络等。k折交叉验证将样本随机、均匀的分成k份,轮流用其中的k-1份训练模型,1份用于测试模型的准确率,用k个准确率的均值作为最终的准确率。判别模型直接得到预测函数f(x),或者直接计算概率值p(y|x),比如SVM和logistic回归,softmax回归,判别模型只关心决策面,而不管样本的概率分布的密度。偏差是模型本身导致的误差,即错误的模型假设所导致的误差,它是模型的预测值的数学期望和真实值之间的差距。...原创 2022-08-10 13:39:15 · 593 阅读 · 0 评论 -
机器学习基本知识(2)
前期博客介绍了机器学习基础概念和三要素,本期博客重点讲解三要素的算法部分,即学习模型的具体计算方法:首先是梯度下降法、牛顿法、拟牛顿法、坐标下降法,梯度下降法的改进型(AdaDelta,AdaGrad,Adam,NAG)等;其次是常用其他求解方法如拉格朗日乘数法、凸优化、拉格朗日对偶、KKT条件。......原创 2022-08-10 13:28:57 · 490 阅读 · 0 评论 -
机器学习基本知识(1)
机器学习基本概念:如特征空间、原本表达;机器学习三要素:模型、策略、算法原创 2022-08-10 12:24:27 · 1537 阅读 · 0 评论