关于稀疏自编码-------“搞基”总结

原创 2016年08月30日 11:15:02

       上个月研究了一下稀疏自编码相关知识,主要是做一个小小培训用。查阅了很多资料,看的大多数是原理性的,本人还没涉及到代码层面。文章大致分为两类:

1、在代价函数后加一个KL距离(相对熵)项,实现稀疏性。

2、在代价函数后加一个L1范数,实现稀疏性。

方法1理解较简单,吴恩达及其他作者衍生出的一些文章有较详细描述,最后是在稀疏自编码网络中利用BP学习算法,得到一组基及网络参数。

方法2需要求解一个字典和稀疏矩阵,其实和方法1得到的东西是一样的,只是求解过程会用到OMP(正交匹配追踪算法)等算法(不一定用这种算法)。

我还不理解的地方主要是:这两种方法是否有内在联系,为什么分为这两种。

之前有问了一位交大在读妹子,她也是没有深入了解,但还是整理了一篇,见她博文(http://blog.csdn.net/sun7_she/article/details/52300438),对此表示感谢。

下面是粗略整理的博文:

一、关于KL距离作为稀疏限制:

1、http://blog.csdn.net/whiteinblue/article/details/20639629

2、http://blog.csdn.net/llp1992/article/details/45579615

3、http://www.cnblogs.com/cj695/p/4498699.html

4、http://blog.csdn.net/pi9nc/article/details/27711441

5、https://www.52ml.net/8531.html

6、http://blog.csdn.net/ycheng_sjtu/article/details/38454305

二、关于L1范数作为稀疏限制:

1、http://blog.csdn.net/zouxy09/article/details/8777094/

2、http://www.cnblogs.com/tornadomeet/archive/2013/04/13/3018393.html

3、http://blog.sina.com.cn/s/blog_837f83580102v7bm.html

4、http://www.cnblogs.com/aixueshuqian/p/3936892.html

三、关于范数稀疏性解释

1、http://blog.csdn.net/zouxy09/article/details/24971995 

2、http://www.cnblogs.com/aixueshuqian/p/3939101.html 

3、http://www.cnblogs.com/tenosdoit/p/3708996.html 

4、http://www.cnblogs.com/AndyJee/p/5048235.html 

5、http://blog.csdn.net/yhdzw/article/details/39186753 

6、http://freemind.pluskid.org/machine-learning/sparsity-and-some-basics-of-l1-regularization/ 原浙大硕,后MIT,他的生活帖子读来轻松却令人憧憬,大学时代的情怀吧。

四、其他是一些稀疏自编码、数学或代码层面解析

1、https://www.zhihu.com/question/38121173 

2、http://www.cnblogs.com/happylion/p/4209570.html

3、http://www.cnblogs.com/happylion/p/4270013.html 

4、http://www.cnblogs.com/AndyJee/p/5047174.html 

5、http://blog.csdn.net/kevin_bobolkevin/article/details/50590612 

6、http://blog.csdn.net/kevin_bobolkevin/article/details/50590612

7、http://blog.csdn.net/abcjennifer/article/details/7804962 原浙大硕,现百度,美女学霸,值得学习。


谢谢以上原创或非原创博客提供的知识共享,其中各种穿插,相信读者能在其中找到脉络。

autoencoder理解(2): 自动编码器的作用之稀疏编码

如果给定一个神经网络,我们假设其输出与输入是相同的,然后训练调整其参数,得到每一层中的权重。自然地,我们就得到了输入I的几种不同表示(每一层代表一种表示),这些表示就是特征。自动编码器就是一种尽可能复...

先进的编码技术-稀疏表达-2-ScSPM和LLC的总结

稀疏编码系列: (一)----Spatial Pyramid 小结(二)----图像的稀疏表示——ScSPM和LLC的总结(三)----理解sparse coding(四)----稀疏模型与结构...

稀疏字典K-SVD编码

  • 2017年09月15日 21:01
  • 367KB
  • 下载

可微稀疏编码

  • 2015年09月03日 12:36
  • 536KB
  • 下载

稀疏自编码器及其实现——如何搞基

自编码器是什么? 自编码器本身就是一种BP神经网络。它是一种无监督学习算法。 我们都知道神经网络可以从任意精度逼近任意函数,这里我们让神经网络目标值等于输出值x,也就是模拟一个恒等函数: ...

稀疏编码的论文

  • 2014年08月07日 19:18
  • 481KB
  • 下载

稀疏编码中的正交匹配追踪(OMP)与代码

分类: AI and Computer Vision2013-04-19 19:42908人阅读评论(11)收藏举报 OpenCV压缩感知稀疏编码匹配追踪算法 最近在看有关匹配追踪与相关优...
  • pi9nc
  • pi9nc
  • 2014年05月22日 15:44
  • 13658

快速稀疏编码

  • 2015年11月17日 17:35
  • 10.21MB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:关于稀疏自编码-------“搞基”总结
举报原因:
原因补充:

(最多只允许输入30个字)