本文来自于论文Feiping Nie, Heng Huang, Xiao Cai, Chris H. Q. Ding. Efficient and Robust Feature Selection via Joint L2,1-Norms Minimization,NIPS,pp.1813-1821, 2010的阅读心得总结
该论文提出了一种基于损失函数和正则项的
L2,1
L
2
,
1
范数来实现一种高效、鲁棒的特征选择方法,并提供了算法分析和收敛性分析。
首先对比了
L1
L
1
和
L2
L
2
范数的特点:
- L1 L 1 和 L2 L 2 范数表现出一种结构化的正则化技术,但是主要用于二分类;而L2,1范数则是用于多分类
- L2 L 2 范数对野点非常敏感,基于 L2,1 L 2 , 1 范数的损失函数能够去除野点
- L2 L 2 范数倾向于ω 的分量取值尽量均衡,即非零分量个数尽量稠密,而 L0 L 0 范数和 L1 L 1 范数,则倾向于ω 的分量尽量稀疏,即非苓分量个数尽量少
论文的创新点在于:
- 受到
L2,1
L
2
,
1
范数的启发,将
L2,1
L
2
,
1
范数推广到一般情况,即
Lr,p
L
r
,
p
范数,同时证明了该范数满足范数的三个条件。
相关的讨论为:
- 将损失函数的优化问题写成一种矩阵的形式,对利用Lagrange对该问题进行了优化,提出了一种比较有效、快速的算法。
首先是,将损失函数的
L2
L
2
范数全部转化为
L2,1
L
2
,
1
范数,即可以同步优化,为后面的优化过程提供了条件。
在该最小化目标函数的优化中,等价转化优化问题:
![这里写图片描述](https://i-blog.csdnimg.cn/blog_migrate/dd2285ae2d1477e2931ff3c54781a688.png)
更进一步:
![这里写图片描述](https://i-blog.csdnimg.cn/blog_migrate/cf88aabf1b194ccdfb381261a0e9b2f0.png)
写成矩阵形式:
![这里写图片描述](https://i-blog.csdnimg.cn/blog_migrate/5cf8ecf2c10e85ebc0eff0df25ace802.png)
记:
![这里写图片描述](https://i-blog.csdnimg.cn/blog_migrate/f987cf161d067834d8840327149e5249.png)
![这里写图片描述](https://i-blog.csdnimg.cn/blog_migrate/0cfa5f6f1bbfdcb4c64ba92dc8b6f5a5.png)
即为
![这里写图片描述](https://i-blog.csdnimg.cn/blog_migrate/6034e3466dbb879fb862c22b77305582.png)
利用Lagrange方法,转化为:
![这里写图片描述](https://i-blog.csdnimg.cn/blog_migrate/e5ebe92ee6906929181e2ed644f6ba3e.png)
求导(相关求导公式可以查看另外一篇博客) 矩阵L2,1范数及矩阵L2,p范数的求导:
![这里写图片描述](https://i-blog.csdnimg.cn/blog_migrate/b7a214ec057d4abd06882209501f8bf0.png)
其中
![这里写图片描述](https://i-blog.csdnimg.cn/blog_migrate/90c13c18ce9e859946e7e1e4bfddd61d.png)
是对角阵,即有:
![这里写图片描述](https://i-blog.csdnimg.cn/blog_migrate/045e957925baec9f8683bf2f031fb6e1.png)
结合上式即有
![这里写图片描述](https://i-blog.csdnimg.cn/blog_migrate/59331d0a4a840b69f66843bb09d5802d.png)
此时U即为全局最优解,由于D矩阵中包含有U,因此需要迭代求解。算法步骤为:
![这里写图片描述](https://i-blog.csdnimg.cn/blog_migrate/1326d7fb29a328b7cd627af87cd59ece.png)
关于迭代求解的收敛性证明(证明过程看论文),主要运用了引理:
![这里写图片描述](https://i-blog.csdnimg.cn/blog_migrate/f1f971ee84244992180982f6f6188c13.png)
同时,将该优化问题推广到更一般的情况(D仍为对角阵,f(U)是凸函数):
![这里写图片描述](https://i-blog.csdnimg.cn/blog_migrate/378135ac30e95890be831791c152a1b3.png)
迭代式:
![这里写图片描述](https://i-blog.csdnimg.cn/blog_migrate/26954937cf6f8c05eb8301782ad82923.png)
该算法对基因组和蛋白质组生物标志物进行了实验,取得了高效、高准确度的效果。