RICA（Reconstruction Cost ICA）是为了解决标准ICA的正交限制带来的问题，如不能学习过完备集和优化速度慢等。通过引入软重构成本函数，RICA可以使用快速优化方法并学习到过完备基，即使在数据未白化的情况下也能获得良好特征。此外，当学习不完备基且r趋向无穷时，RICA接近于ICA。
文章来源：ICA with Reconstruction Cost for Efficient Overcomplete Feature Learning
http://cs.stanford.edu/~jngiam/papers/LeKarpenkoNgiamNg2011
1、标准的ICA被定义为如下的优化问题：
g是一个非线性的凸函数（保证只有一个最优解），W是权重矩阵，Wj是矩阵的一行（一个特征）。正交限制保证这基函数W不是退化的。
正交限制有一些缺点：
1）不能学习到过完备集
2）不能用快速的优化方法（像L-BFGS,CG等），只能用投影梯度下降算法。
3）对数据白化敏感。
2、鉴于此，我们把正交限制用软重构成本函数代替，即RICA算法。
RICA被定义为如下的无限制的优化问题。
最低0.47元/天 解锁文章
479
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
