机器学习
静守道
清以修身,静以思道~
展开
-
详细解说LDA线性判别分析方法
转载原文网址:LDA 线性判别分析LDA, Linear Discriminant Analysis,线性判别分析。注意与LDA(Latent Dirichlet Allocation,主题生成模型)的区别。1、引入 上文介绍的PCA方法对提取样本数据的主要变化信息非常有效,而忽略了次要变化的信息。在有些情况下,次要信息可能正是把不同类别区分开来的分布方向。简单来说,PCA方法寻找的是数据变化的...转载 2018-03-17 21:36:24 · 6636 阅读 · 0 评论 -
矩阵L2,1范数及矩阵L2,p范数的求导
常见的矩阵范数有L1,L2,∞\infty范数,F范数和引申出的L2,1范数。而在机器学习的特征选择中,利用选择矩阵的范数对选择矩阵进行约束,即是正则化技术,是一种稀疏学习。L0L_{0},L1L_{1}向量范数L0L_{0} 范数L0L_{0} 范数是指向量vv中的非0的个数,是一种度量向量稀疏性的表示方法。例如:v=[0,1,1,0,0,1]v=[0,1,1,0,0,1],那么∥v∥0=3\p原创 2018-03-24 15:18:06 · 66164 阅读 · 28 评论 -
基于L2,1范数的特征选择方法
本文来自于论文Feiping Nie, Heng Huang, Xiao Cai, Chris H. Q. Ding. Efficient and Robust Feature Selection via Joint L2,1-Norms Minimization,NIPS,pp.1813-1821, 2010的阅读心得总结该论文提出了一种基于损失函数和正则项的L2,1L2,1L_{2...原创 2018-03-24 16:09:47 · 11216 阅读 · 1 评论 -
Fisher线性判别散度矩阵Sb,Sw 另一种表达形式的证明
Fisher线性判别中散度矩阵的表现形式可以改写,类内散度: Sw=∑i=1c∑j:yj=i(xj−μi)(xj−μi)T=12∑i,jA(w)ij(xi−xj)(xi−xj)TSw=∑i=1c∑j:yj=i(xj−μi)(xj−μi)T=12∑i,jAij(w)(xi−xj)(xi−xj)T \begin{split} S_{w}&=\sum_{i=1}^c\sum_{j...原创 2018-03-25 20:57:45 · 3333 阅读 · 3 评论