研究领域总结(一):稀疏——字典学习 - aezero - 博客园 http://www.cnblogs.com/aezero/p/4823423.html
Pre:
面试发现自己老讲不条理自己的研究工作,还是要先梳理下。鉴于motivation,本文是侧重结构化的15分钟talk draft,而非务求详尽。有兴趣的欢迎私下讨论。
Abstract:
本文主要介绍稀疏模型相关,侧重于字典学习和具体应用。
1.sparse background
2.DL(DIctionary Learning)是什么,用途,为什么好
3.我的DC(Customization)工作
I.稀疏模型
稀疏模型是最近几年比较hot的技术,在信号处理(压缩感知)、计算机视觉(比如JPEG压缩)领域影响比较大,在机器学习框架则可以看做是一种特征处理相关的模型。
具体的,稀疏表示是指在超完备字典D(超完备是说字典行数小于列数)中用尽可能少的原子来表示信号
x,即:
![](https://i-blog.csdnimg.cn/blog_migrate/8cac3eee27d7e22dbd53439973944ba8.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ef6744a713cbdbdf6cf305f3dd0821ac.png)
![](https://i-blog.csdnimg.cn/blog_migrate/c9a279d9d1fbb80a767c885b354eb75e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4e71fd1b2553dc4c68d1ba075846a4b8.png)
![](https://i-blog.csdnimg.cn/blog_migrate/cd84c23bcca5e742d4d3ecc89faa55ca.png)
![](https://i-blog.csdnimg.cn/blog_migrate/efe6db84d50c05e28c2228bc89cde417.png)
![](https://i-blog.csdnimg.cn/blog_migrate/cd84c23bcca5e742d4d3ecc89faa55ca.png)
![](https://i-blog.csdnimg.cn/blog_migrate/276e05bc456da4f19b66ec4efd52e045.png)
![](https://i-blog.csdnimg.cn/blog_migrate/a67997959a3113eadaa8461c4ef558d6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7dfd52e87bb1e3537ce3c67616d8ea6f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/258baa19c2bdc25da7cd44c2c9e0106c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b776830fabfc89e16b63bae766285291.png)
![](https://i-blog.csdnimg.cn/blog_migrate/258baa19c2bdc25da7cd44c2c9e0106c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d38413f7fd87bbe7ba04704df4d8e926.png)
![](https://i-blog.csdnimg.cn/blog_migrate/464598db0365d76be860bad913d2f7b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1442fa3a2256f24723a99d7a65ebce9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/efe6db84d50c05e28c2228bc89cde417.png)
![](https://i-blog.csdnimg.cn/blog_migrate/258baa19c2bdc25da7cd44c2c9e0106c.png)
考虑噪声就是
![](https://i-blog.csdnimg.cn/blog_migrate/8cac3eee27d7e22dbd53439973944ba8.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ef6744a713cbdbdf6cf305f3dd0821ac.png)
![](https://i-blog.csdnimg.cn/blog_migrate/c9a279d9d1fbb80a767c885b354eb75e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4e71fd1b2553dc4c68d1ba075846a4b8.png)
![](https://i-blog.csdnimg.cn/blog_migrate/cd84c23bcca5e742d4d3ecc89faa55ca.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d38413f7fd87bbe7ba04704df4d8e926.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ba79dafbdbda0a4041ac51b8d9bcd3c1.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1442fa3a2256f24723a99d7a65ebce9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/efe6db84d50c05e28c2228bc89cde417.png)
![](https://i-blog.csdnimg.cn/blog_migrate/cd84c23bcca5e742d4d3ecc89faa55ca.png)
![](https://i-blog.csdnimg.cn/blog_migrate/81d72b0a7201716a3ab43bec534c5c28.png)
![](https://i-blog.csdnimg.cn/blog_migrate/81d72b0a7201716a3ab43bec534c5c28.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b9e125e6864edc953f59d857a4352149.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d0ed9b591b2323fd35e80d37f1a77c8d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/cd84c23bcca5e742d4d3ecc89faa55ca.png)
![](https://i-blog.csdnimg.cn/blog_migrate/efe6db84d50c05e28c2228bc89cde417.png)
![](https://i-blog.csdnimg.cn/blog_migrate/cd84c23bcca5e742d4d3ecc89faa55ca.png)
![](https://i-blog.csdnimg.cn/blog_migrate/276e05bc456da4f19b66ec4efd52e045.png)
![](https://i-blog.csdnimg.cn/blog_migrate/a67997959a3113eadaa8461c4ef558d6.png)
α的size比
x大很多,但是非零元素比
x的size小很多很多。
稀疏的优点主要在于它是非线性模型,所以表达能力更强。具体来说,每个信号稀疏系数的非零元素位置不同(所谓的support),所以每个信号可以看做被投影到了不同的线性子空间,这是和正交字典-PCA之类的最大区别。而为什么在视觉图像里应用尤其多,也正是因为每张图像(如人脸)可以看做处于高维空间的一个低维子空间上(其实还有些研究用流形做子空间建模的)。
稀疏模型研究方向主要包括系数求解(即上面那个问题,经典算法有OMP贪心、lasso凸松弛和l1/2非凸松弛),字典学习(获得更好的
D,经典算法有MOD和K-SVD交替迭代)和模型应用。
II.字典学习
显然稀疏表达的效果好坏和我们用的字典有着密切的关系。字典分两类,一种是预先给定的分析字典,比如小波基、DCT等,另一种则是针对特定数据集学习出特定的字典。这种学出来的字典能大大提升在特定数据集的效果。
给定训练样本X={xi∥i=1n,我们要所有样本在字典
D上有稀疏表达
W={wi}i=1n,所以优化目标是
![](https://i-blog.csdnimg.cn/blog_migrate/8cac3eee27d7e22dbd53439973944ba8.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ef6744a713cbdbdf6cf305f3dd0821ac.png)
![](https://i-blog.csdnimg.cn/blog_migrate/c9a279d9d1fbb80a767c885b354eb75e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/61bd17e86a0a41930e544a3769e0525f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8f692a8f72ec9d6a58df60787bb4b19b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/a6638a4e0f07b276957546f3c19eeea1.png)
![](https://i-blog.csdnimg.cn/blog_migrate/cd84c23bcca5e742d4d3ecc89faa55ca.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d54245323ffb77a671884fbc17167fb5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ba79dafbdbda0a4041ac51b8d9bcd3c1.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1442fa3a2256f24723a99d7a65ebce9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e6808e46f7278e28bcc09c0fc0cf1e8d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/cd84c23bcca5e742d4d3ecc89faa55ca.png)
![](https://i-blog.csdnimg.cn/blog_migrate/81d72b0a7201716a3ab43bec534c5c28.png)
![](https://i-blog.csdnimg.cn/blog_migrate/c7795f53e49940c508564d15330e6a88.png)
![](https://i-blog.csdnimg.cn/blog_migrate/a67997959a3113eadaa8461c4ef558d6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7dfd52e87bb1e3537ce3c67616d8ea6f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/258baa19c2bdc25da7cd44c2c9e0106c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b776830fabfc89e16b63bae766285291.png)
![](https://i-blog.csdnimg.cn/blog_migrate/258baa19c2bdc25da7cd44c2c9e0106c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/cd84c23bcca5e742d4d3ecc89faa55ca.png)
![](https://i-blog.csdnimg.cn/blog_migrate/387798fc88ef5d061b3c9179ba47a982.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b35dd14c35b0f7e00c222f118a846243.png)
![](https://i-blog.csdnimg.cn/blog_migrate/cd84c23bcca5e742d4d3ecc89faa55ca.png)
![](https://i-blog.csdnimg.cn/blog_migrate/276e05bc456da4f19b66ec4efd52e045.png)
![](https://i-blog.csdnimg.cn/blog_migrate/52887ddc5274c063c5e8f3821b16f835.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7dfd52e87bb1e3537ce3c67616d8ea6f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/258baa19c2bdc25da7cd44c2c9e0106c.png)
这个目标函数非凸,一般用交替迭代思想来解,即分别固定D和W,更新另一个,很多变种算法。目标函数分析起来比较难,所以这方面理论还比较弱,Agarwal,Gribonval等一帮人在搞。
应用方面往往稀疏表达和字典学习是混杂的,这里主要介绍下图像去噪、超分辨率和人脸识别,这三个例子效果都很好,貌似已经拿到工业界用了。
1.图像去噪(Elad)
对一个noisy image,把一个patch看做一个sample或signal,比如可以是一个8乘8的patch,拉成一列64维的向量,一个image可以从左上角到右下角窗口1滑动采样得到很多这样的patch。
(1)拿这些patches作为训练样本,用如K-SVD之类的算法可以学得字典D。(也可以用DCT等做字典)
(2)用D对patch进行稀疏表达,拿稀疏系数再根据字典D重建patch,丢失掉的那部分信息主要就是噪声信息,这样就起到了去噪的作用(这是利用噪声的性质,去噪后整个图片会变得光滑)。
2.超分辨率(MaYi)
(1)最主要的假设是高分辨率图像的patches xh和对应的低分辨率图像的patches
xl,在相应的字典
Dh和
Dl上有相同的系数。这样的话,就可以把低分辨率图像先根据
Dl得到稀疏系数,再根据
Dh重建patches。
(2)剩下的问题是怎样学习得到Dl和
Dh,即对于大量训练样本 patch-pairs
(Xl,Xh), 优化目标函数:
![](https://i-blog.csdnimg.cn/blog_migrate/8cac3eee27d7e22dbd53439973944ba8.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ef6744a713cbdbdf6cf305f3dd0821ac.png)
![](https://i-blog.csdnimg.cn/blog_migrate/c9a279d9d1fbb80a767c885b354eb75e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/61bd17e86a0a41930e544a3769e0525f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b9c39f8841938b3eb39ebb10db4b0e83.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8f692a8f72ec9d6a58df60787bb4b19b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/61bd17e86a0a41930e544a3769e0525f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8a9137fd968093cd286c118db5abccf7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8f692a8f72ec9d6a58df60787bb4b19b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/a6638a4e0f07b276957546f3c19eeea1.png)
![](https://i-blog.csdnimg.cn/blog_migrate/cd84c23bcca5e742d4d3ecc89faa55ca.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d54245323ffb77a671884fbc17167fb5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ebe6a92d462f012560e0d59be90b6c8c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ba79dafbdbda0a4041ac51b8d9bcd3c1.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1442fa3a2256f24723a99d7a65ebce9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ebe6a92d462f012560e0d59be90b6c8c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e6808e46f7278e28bcc09c0fc0cf1e8d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/cd84c23bcca5e742d4d3ecc89faa55ca.png)
![](https://i-blog.csdnimg.cn/blog_migrate/81d72b0a7201716a3ab43bec534c5c28.png)
![](https://i-blog.csdnimg.cn/blog_migrate/c7795f53e49940c508564d15330e6a88.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b9e125e6864edc953f59d857a4352149.png)
![](https://i-blog.csdnimg.cn/blog_migrate/cd84c23bcca5e742d4d3ecc89faa55ca.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d54245323ffb77a671884fbc17167fb5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/07ad324117a4f91e71984c23ce53d6c4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ba79dafbdbda0a4041ac51b8d9bcd3c1.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1442fa3a2256f24723a99d7a65ebce9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/07ad324117a4f91e71984c23ce53d6c4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e6808e46f7278e28bcc09c0fc0cf1e8d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/cd84c23bcca5e742d4d3ecc89faa55ca.png)
![](https://i-blog.csdnimg.cn/blog_migrate/81d72b0a7201716a3ab43bec534c5c28.png)
![](https://i-blog.csdnimg.cn/blog_migrate/c7795f53e49940c508564d15330e6a88.png)
![](https://i-blog.csdnimg.cn/blog_migrate/a67997959a3113eadaa8461c4ef558d6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7dfd52e87bb1e3537ce3c67616d8ea6f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/258baa19c2bdc25da7cd44c2c9e0106c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b776830fabfc89e16b63bae766285291.png)
![](https://i-blog.csdnimg.cn/blog_migrate/258baa19c2bdc25da7cd44c2c9e0106c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/cd84c23bcca5e742d4d3ecc89faa55ca.png)
![](https://i-blog.csdnimg.cn/blog_migrate/387798fc88ef5d061b3c9179ba47a982.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b35dd14c35b0f7e00c222f118a846243.png)
![](https://i-blog.csdnimg.cn/blog_migrate/cd84c23bcca5e742d4d3ecc89faa55ca.png)
![](https://i-blog.csdnimg.cn/blog_migrate/276e05bc456da4f19b66ec4efd52e045.png)
![](https://i-blog.csdnimg.cn/blog_migrate/52887ddc5274c063c5e8f3821b16f835.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7dfd52e87bb1e3537ce3c67616d8ea6f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/258baa19c2bdc25da7cd44c2c9e0106c.png)
(3)Tricks: 对于Xl,特征用Bicubic和高通滤波做了拓展。
(4)Elad学字典换了种方法,先K-SVD学Dl,而
Dh通过下式得到
![](https://i-blog.csdnimg.cn/blog_migrate/1442fa3a2256f24723a99d7a65ebce9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ebe6a92d462f012560e0d59be90b6c8c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/464598db0365d76be860bad913d2f7b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d54245323ffb77a671884fbc17167fb5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ebe6a92d462f012560e0d59be90b6c8c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e6808e46f7278e28bcc09c0fc0cf1e8d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4a43f7f64915cf121973e295eb46ed75.png)
![](https://i-blog.csdnimg.cn/blog_migrate/90934dec8f7195d0bf8579a7586624b1.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e6808e46f7278e28bcc09c0fc0cf1e8d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e6808e46f7278e28bcc09c0fc0cf1e8d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4a43f7f64915cf121973e295eb46ed75.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0d66c465bc76eb1101b85616fc4fa52e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9349ec0090226726bc31e3b4b1520a83.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3ed153a40330e5d9a68707683b8c7c58.png)
![](https://i-blog.csdnimg.cn/blog_migrate/258baa19c2bdc25da7cd44c2c9e0106c.png)
3.人脸识别(Jiang)
上面两个应用都是把单个patch作为sample,在做分类是则通常把一张image作为一个sample。因为一张图片拉成一列向量太大,首先会把图片投影到m维特征向量y,投影方法一般是用一个随机产生的mean为0的高斯分布(参考随机投影保距降维相关资料)。
这里介绍Jiang Zuolin的工作,他把字典D和线性分类器
W一同学习得到,具体损失函数是
![](https://i-blog.csdnimg.cn/blog_migrate/8cac3eee27d7e22dbd53439973944ba8.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ef6744a713cbdbdf6cf305f3dd0821ac.png)
![](https://i-blog.csdnimg.cn/blog_migrate/c9a279d9d1fbb80a767c885b354eb75e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/61bd17e86a0a41930e544a3769e0525f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8f692a8f72ec9d6a58df60787bb4b19b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/a6638a4e0f07b276957546f3c19eeea1.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8f692a8f72ec9d6a58df60787bb4b19b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9b2c72c746635159752cbe460f8bc49f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8f692a8f72ec9d6a58df60787bb4b19b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8267140d0b4ae48cb66cc557c3aac77a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/cd84c23bcca5e742d4d3ecc89faa55ca.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7242be6379eab2389b87c7d69eca68b2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ba79dafbdbda0a4041ac51b8d9bcd3c1.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1442fa3a2256f24723a99d7a65ebce9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d54245323ffb77a671884fbc17167fb5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/cd84c23bcca5e742d4d3ecc89faa55ca.png)
![](https://i-blog.csdnimg.cn/blog_migrate/81d72b0a7201716a3ab43bec534c5c28.png)
![](https://i-blog.csdnimg.cn/blog_migrate/c7795f53e49940c508564d15330e6a88.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b9e125e6864edc953f59d857a4352149.png)
![](https://i-blog.csdnimg.cn/blog_migrate/efe6db84d50c05e28c2228bc89cde417.png)
![](https://i-blog.csdnimg.cn/blog_migrate/cd84c23bcca5e742d4d3ecc89faa55ca.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2b0f5d6b8209de812baca4984b07e91d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ba79dafbdbda0a4041ac51b8d9bcd3c1.png)
![](https://i-blog.csdnimg.cn/blog_migrate/88ab8e007918affa1abb59e0ca4ec76f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d54245323ffb77a671884fbc17167fb5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/cd84c23bcca5e742d4d3ecc89faa55ca.png)
![](https://i-blog.csdnimg.cn/blog_migrate/81d72b0a7201716a3ab43bec534c5c28.png)
![](https://i-blog.csdnimg.cn/blog_migrate/c7795f53e49940c508564d15330e6a88.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b9e125e6864edc953f59d857a4352149.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa2dc6c414a0dbbcd40b5395f1da6f1f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/cd84c23bcca5e742d4d3ecc89faa55ca.png)
![](https://i-blog.csdnimg.cn/blog_migrate/60fd04f0f04b3298170e7e6386a521f6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ba79dafbdbda0a4041ac51b8d9bcd3c1.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e6808e46f7278e28bcc09c0fc0cf1e8d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d54245323ffb77a671884fbc17167fb5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/cd84c23bcca5e742d4d3ecc89faa55ca.png)
![](https://i-blog.csdnimg.cn/blog_migrate/81d72b0a7201716a3ab43bec534c5c28.png)
![](https://i-blog.csdnimg.cn/blog_migrate/c7795f53e49940c508564d15330e6a88.png)
![](https://i-blog.csdnimg.cn/blog_migrate/a67997959a3113eadaa8461c4ef558d6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7dfd52e87bb1e3537ce3c67616d8ea6f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/258baa19c2bdc25da7cd44c2c9e0106c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b776830fabfc89e16b63bae766285291.png)
![](https://i-blog.csdnimg.cn/blog_migrate/258baa19c2bdc25da7cd44c2c9e0106c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ae0a876c91215b13e338e1e77ae3bd57.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d41260f07e7a4875cbec66eb587e36ca.png)
![](https://i-blog.csdnimg.cn/blog_migrate/a67997959a3113eadaa8461c4ef558d6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/cd84c23bcca5e742d4d3ecc89faa55ca.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d38413f7fd87bbe7ba04704df4d8e926.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b35dd14c35b0f7e00c222f118a846243.png)
![](https://i-blog.csdnimg.cn/blog_migrate/cd84c23bcca5e742d4d3ecc89faa55ca.png)
![](https://i-blog.csdnimg.cn/blog_migrate/276e05bc456da4f19b66ec4efd52e045.png)
![](https://i-blog.csdnimg.cn/blog_migrate/52887ddc5274c063c5e8f3821b16f835.png)
![](https://i-blog.csdnimg.cn/blog_migrate/06cb42dcee3d8f59166a2dcdb41339cc.png)
这里(Y,H)是训练样本(feature,label),Q那一项是一个label consistent项,用来加大字典原子的类别区分度的,构建方法不赘述了。
这个问题可以化为一个标准的字典学习问题,然后用一般字典学习方法求解。
![](https://i-blog.csdnimg.cn/blog_migrate/8cac3eee27d7e22dbd53439973944ba8.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ef6744a713cbdbdf6cf305f3dd0821ac.png)
![](https://i-blog.csdnimg.cn/blog_migrate/c9a279d9d1fbb80a767c885b354eb75e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/61bd17e86a0a41930e544a3769e0525f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8f692a8f72ec9d6a58df60787bb4b19b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/a6638a4e0f07b276957546f3c19eeea1.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8f692a8f72ec9d6a58df60787bb4b19b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9b2c72c746635159752cbe460f8bc49f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8f692a8f72ec9d6a58df60787bb4b19b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8267140d0b4ae48cb66cc557c3aac77a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/cd84c23bcca5e742d4d3ecc89faa55ca.png)
![](https://i-blog.csdnimg.cn/blog_migrate/253d2b8b41312e9165ac84b685cf0ee7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/58c7f2c6b393638604adb23bd6d05526.png)
![](https://i-blog.csdnimg.cn/blog_migrate/990c148f521a11c0cdd170911ec21beb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/990c148f521a11c0cdd170911ec21beb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7242be6379eab2389b87c7d69eca68b2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/efe6db84d50c05e28c2228bc89cde417.png)
![](https://i-blog.csdnimg.cn/blog_migrate/273c8968d2e5a9a20c93dcee7ce66542.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2b0f5d6b8209de812baca4984b07e91d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa2dc6c414a0dbbcd40b5395f1da6f1f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/be1a35bbd42a8f3333afe5662d78f249.png)
![](https://i-blog.csdnimg.cn/blog_migrate/60fd04f0f04b3298170e7e6386a521f6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/c01fda9b8bc0bb6866a4db8c270f6652.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b09e9052c89eba67896314ef3fc7152c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4e944f40d79194c664c3b226bda2b29e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4e944f40d79194c664c3b226bda2b29e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ba79dafbdbda0a4041ac51b8d9bcd3c1.png)
![](https://i-blog.csdnimg.cn/blog_migrate/253d2b8b41312e9165ac84b685cf0ee7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/58c7f2c6b393638604adb23bd6d05526.png)
![](https://i-blog.csdnimg.cn/blog_migrate/990c148f521a11c0cdd170911ec21beb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/990c148f521a11c0cdd170911ec21beb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1442fa3a2256f24723a99d7a65ebce9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/efe6db84d50c05e28c2228bc89cde417.png)
![](https://i-blog.csdnimg.cn/blog_migrate/273c8968d2e5a9a20c93dcee7ce66542.png)
![](https://i-blog.csdnimg.cn/blog_migrate/88ab8e007918affa1abb59e0ca4ec76f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa2dc6c414a0dbbcd40b5395f1da6f1f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/be1a35bbd42a8f3333afe5662d78f249.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e6808e46f7278e28bcc09c0fc0cf1e8d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/c01fda9b8bc0bb6866a4db8c270f6652.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b09e9052c89eba67896314ef3fc7152c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4e944f40d79194c664c3b226bda2b29e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4e944f40d79194c664c3b226bda2b29e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d54245323ffb77a671884fbc17167fb5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/cd84c23bcca5e742d4d3ecc89faa55ca.png)
![](https://i-blog.csdnimg.cn/blog_migrate/81d72b0a7201716a3ab43bec534c5c28.png)
![](https://i-blog.csdnimg.cn/blog_migrate/c7795f53e49940c508564d15330e6a88.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7dfd52e87bb1e3537ce3c67616d8ea6f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/258baa19c2bdc25da7cd44c2c9e0106c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b776830fabfc89e16b63bae766285291.png)
![](https://i-blog.csdnimg.cn/blog_migrate/258baa19c2bdc25da7cd44c2c9e0106c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ae0a876c91215b13e338e1e77ae3bd57.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d41260f07e7a4875cbec66eb587e36ca.png)
![](https://i-blog.csdnimg.cn/blog_migrate/a67997959a3113eadaa8461c4ef558d6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/cd84c23bcca5e742d4d3ecc89faa55ca.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d38413f7fd87bbe7ba04704df4d8e926.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b35dd14c35b0f7e00c222f118a846243.png)
![](https://i-blog.csdnimg.cn/blog_migrate/cd84c23bcca5e742d4d3ecc89faa55ca.png)
![](https://i-blog.csdnimg.cn/blog_migrate/276e05bc456da4f19b66ec4efd52e045.png)
![](https://i-blog.csdnimg.cn/blog_migrate/52887ddc5274c063c5e8f3821b16f835.png)
![](https://i-blog.csdnimg.cn/blog_migrate/06cb42dcee3d8f59166a2dcdb41339cc.png)
这样的话,每新来一个样本,就先随机投影得到特征向量,然后用D得到稀疏系数,再用W对稀疏预测得出label。
此外,还有种方法是每个人对应一个字典,新来一张图,算和哪个字典构建误差最小来预测。
顺便比较下和deep learning,第一,潜力不如deep learning(吐槽下大量搞稀疏的人跑去搞deep learning了),第二,某种程度,deep learning也是稀疏思想,第三,dictionary learning相比优点就是没有那么多蛋疼的调参和tricks,简单有效代价低。
III.我的字典个性化工作
首先来说字典学习的思想,本质上,字典学习是学得一个更specialized的字典,这样的话对于特定的数据集就更加有效了。但是还是有几个问题,第一,学习的效果需要充足的样本来guarantee,第二,学习的代价是时间和计算,这就导致了很多时候不够specialized。比如往往只是specialize到了人类,而没有specialize到某个人。
所以我做的工作主要是得到更specialized的字典,也即字典个性化。鉴于还在审稿,具体方法不描述了。