关闭

关于稀疏自编码-------“搞基”总结

标签: 稀疏自编码机器学习稀疏性范数KL距离
781人阅读 评论(0) 收藏 举报
分类:

       上个月研究了一下稀疏自编码相关知识,主要是做一个小小培训用。查阅了很多资料,看的大多数是原理性的,本人还没涉及到代码层面。文章大致分为两类:

1、在代价函数后加一个KL距离(相对熵)项,实现稀疏性。

2、在代价函数后加一个L1范数,实现稀疏性。

方法1理解较简单,吴恩达及其他作者衍生出的一些文章有较详细描述,最后是在稀疏自编码网络中利用BP学习算法,得到一组基及网络参数。

方法2需要求解一个字典和稀疏矩阵,其实和方法1得到的东西是一样的,只是求解过程会用到OMP(正交匹配追踪算法)等算法(不一定用这种算法)。

我还不理解的地方主要是:这两种方法是否有内在联系,为什么分为这两种。

之前有问了一位交大在读妹子,她也是没有深入了解,但还是整理了一篇,见她博文(http://blog.csdn.net/sun7_she/article/details/52300438),对此表示感谢。

下面是粗略整理的博文:

一、关于KL距离作为稀疏限制:

1、http://blog.csdn.net/whiteinblue/article/details/20639629

2、http://blog.csdn.net/llp1992/article/details/45579615

3、http://www.cnblogs.com/cj695/p/4498699.html

4、http://blog.csdn.net/pi9nc/article/details/27711441

5、https://www.52ml.net/8531.html

6、http://blog.csdn.net/ycheng_sjtu/article/details/38454305

二、关于L1范数作为稀疏限制:

1、http://blog.csdn.net/zouxy09/article/details/8777094/

2、http://www.cnblogs.com/tornadomeet/archive/2013/04/13/3018393.html

3、http://blog.sina.com.cn/s/blog_837f83580102v7bm.html

4、http://www.cnblogs.com/aixueshuqian/p/3936892.html

三、关于范数稀疏性解释

1、http://blog.csdn.net/zouxy09/article/details/24971995 

2、http://www.cnblogs.com/aixueshuqian/p/3939101.html 

3、http://www.cnblogs.com/tenosdoit/p/3708996.html 

4、http://www.cnblogs.com/AndyJee/p/5048235.html 

5、http://blog.csdn.net/yhdzw/article/details/39186753 

6、http://freemind.pluskid.org/machine-learning/sparsity-and-some-basics-of-l1-regularization/ 原浙大硕,后MIT,他的生活帖子读来轻松却令人憧憬,大学时代的情怀吧。

四、其他是一些稀疏自编码、数学或代码层面解析

1、https://www.zhihu.com/question/38121173 

2、http://www.cnblogs.com/happylion/p/4209570.html

3、http://www.cnblogs.com/happylion/p/4270013.html 

4、http://www.cnblogs.com/AndyJee/p/5047174.html 

5、http://blog.csdn.net/kevin_bobolkevin/article/details/50590612 

6、http://blog.csdn.net/kevin_bobolkevin/article/details/50590612

7、http://blog.csdn.net/abcjennifer/article/details/7804962 原浙大硕,现百度,美女学霸,值得学习。


谢谢以上原创或非原创博客提供的知识共享,其中各种穿插,相信读者能在其中找到脉络。

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:35959次
    • 积分:637
    • 等级:
    • 排名:千里之外
    • 原创:17篇
    • 转载:10篇
    • 译文:0篇
    • 评论:52条
    文章分类
    最新评论