u013614079的博客

原创 非负矩阵分解 NMF 总结

好难啊，看的头疼。争取十一写出来。1.非负矩阵分解原理2.非负矩阵分解的算法2.1梯度下降2.2乘法算法2.3交替最小二乘法2.4拟牛顿法2.5分层分解法3.非负矩阵的变形4.非负矩阵分解与K-means5.非负矩阵分解与Spectral clustering...

原创 k-means和spectral clustering 谱聚类总结

k-means目标函数：其中i表示第i簇，共有k簇，ni表示划分为第i簇的数据点数量，x_i_j 表示第i簇第j个数据， u_i表示第i簇的中心值，。算法：（1）设置k个样本中心点，将所有样本点划分为距离其最近样本中心的集合中。（2）根据划分的数据集更新样本的中心点。直至样本中心点不再变化（数据划分无差别）或所有样本点距离其划分的样本中心距离之和达到最小值即为结束。spectra...

原创 迹比问题 trace ratio

在求解LDA的过程中，避免不了trace ratio。最近几天看了一些trace ratio的论文。需要总结一下。一、Trace ratio vs ratio trace for dimension reduction算法：remove null(St)-PCA去掉零特征值。主要是St的零空间不包含信息。将非零向量命名为V-列正交。（1）中W可写成 W=VUITR-i...

原创 线性判别分析 LDA总结

1.线性判别分析的目标类间散度矩阵小，类内散度矩阵大。这个意思就是，同类的点越聚集，而不同类的点越分散。2.散度矩阵的定义C类数据，n个样本点，X为d*n的矩阵，每一个数据点都有d个维度。n_i表示第i类的样本点个数。u_i表示第i类样本点的平均值，注意是对所有n_i个样本点的同一个维度取平均，而u为所有n个样本点的平均，这里仍然是维度的平均组成的向量。这里需要说明一下，max rank(...

原创 机器学习第十章 降维与度量学习

原创 学习记录

学习记录2019年3月优化算法聚类2019年3月优化算法1.机器学习之优化算法学习总结 各种优化算法的公式与特点 https://blog.csdn.net/bingo_csdn_/article/details/791987362.最全的机器学习中的优化算法介绍 优化算法介绍及优缺点 https://blog.csdn.net/qsczse943062710/article/detai...