上海会议总结



稀疏表示

动力和目的

随着数据巨大的增长，维度的提高，需要从大量的数据中提取有用的信息。主要的挑战就是高效地从高维数据中获取低维结构的数据，而降维的过程也必然带来错误。

有效的优化—稀疏表示

（部分源于知名博主）

稀疏表示最重要的思想即是，在一个足够大的训练样本空间内，对于一个类别的物体，

  可以大致的由训练样本中同类的样本子空间线性表示，因此在当该物体有整个样本空间表示时，

  其表示的系数是稀疏的。这是稀疏表示思想最重要的一个假设，当然这也是之后进一步分析的基础。

  通过上述对稀疏表示思想的大致描述，可以将稀疏表示抽象成一个方程式：

y=Ax，(1)

当然稀疏指的是这个方程的系数向量x是稀疏的。y是目标样本，A为训练样本空间。

因此，解决上述问题就是要求解上述方程，要求是x是稀疏的。即：

x0=argmin||x||o   s.t.  y=Ax;(2)

||x||o，指的是x的0范数，即x中非零元素的个数。而求解0范数是一个NP-hard问题，

但是在x是足够稀疏的条件下，可以将上述问题转化为求解x的1范数，即||x||1，

x1=argmin||x||1   s.t.  y=Ax;(3)

上述的描述都是在理想条件下，一般条件下，图像都是有噪声存在的，因此需要在y=Ax后面加一个误差项，即y = Ax+e。

及转化为求解下面的1范数问题：

x2=argmin||x||1 s.t.||Ax-y||2<=e;(4)

上面是一个凸优化问题，应用已有的理论就可以解决。

但是由于噪声等得影响，x的非零元素会散布于很多类间。为了通过x2分类，采用以下分类函数：

min r(y)=||y-A*di(x2)||2;(5)

 下面介绍稀疏表示用来进行图像识别的基本步骤：

1.采集样本。即获得训练样本跟测试样本。

2.对训练样本跟测试样本同时进行降维处理。

3.设定误差上界，依(4)式求解x2。

4.根据(5)式进行分类，输出计算后的分类与识别率。

Complete Dictionary Recovery over the Sphere

摘要

  我们考虑一个问题，恢复一个完备（比如，平方的和可逆的）的数组A0，从和中，提供X0是充分的稀疏。这个恢复问题是字典学习的的核心理论，那就是找输入信号集合的一个稀疏表示，并且找到大量的应用在现在的信号处理和机器学习中。我们给出第一个有效的算法是，验证的恢复A0，当X0有O(n)个非零项每列，在适当的概率模型下对于X0.相反的，优先的结果基于有效的算法提供恢复担保，当X0只有个非零项每列。

我们的算法管理中心围绕着解决一个确定的非复杂优化问题，用一个球面的约束，因此是自然地概括性的在多种优化语言中。为了展示这个表面上的困难问题是易处理的，我们首先提供一个高维客观风景的几何特征，展示没有伪造的局部极小值的高可能性。这个特殊的几何结构允许我们去设计一个黎曼几何，相信地域算法在球体上，也许收敛于一个局部的更小用一个任意的初始值，尽管鞍点的存在。我们提出的几何方法，也可能解决其他问题，比如源于结构化信号的非凸恢复。

会议主要涉及到几个点：字典学习，非凸优化，球约束，信赖域方法，多重优化，函数坐标，二阶几何，倒数问题，结构化信号，非线性近似。

方法 

  这个会议介绍了非凸优化启发法对于字典学习的帮助。

  字典恢复的设置（个人理解，可能有部分出入）：

  给定一个数据数组Y，Y=A0*X0  ，，（合理的稀疏）。根据这个公式恢复A0和X0。

定理1.1(非正式声明我们的结果)对任何θ∈(0,1/3),鉴于Y = A0X0 A0完备的字典和X0∼i,id。BG(θ),有一个多项式时间算法,恢复A0,X0概率(至少1−O(p−6))当p≥p* (1 /θ,n,κ(A0),1 /µ)固定多项式p *(·),κ(A0)是A0的条件数,µ参数可以被设置为一个固定的cn−5/4,积极数值常数c。

这个公式中，即使X0是已知的，仍然需要p>=n解决识别问题。在我们的特殊概率模型下，一个简单的优惠券收集机制意味着，需要去确保A0的所有高概率原子。去确保一个有效的算法存在可能需要更多。这个方法提出，当是多项式在中，用有效的算法恢复是可行的。

  参数θ控制稀疏X0水平。直观地说,重建的问题是对于小θ容易和对大θ困难。一个有效的算法有助于形成常数θ,即在X0,线性稀疏。时的情况相比A0是已知的,最多只有一个常数的稀疏水平差距可以处理。

  对于字典学习，我们的结果给第一个有效的算法，可证地恢复完备A0和X0，当X0每列有O（n）个非零项，在适当的概率模型下。

创新

1.凸公式

 

因为和是完备的，并且因此的行是稀疏的向量在已知的子空间。我们可以用这个结论去首先恢复的行，并且随后恢复，通过求解线性方程式。实际上，对于，的行是n个稀疏向量在行(Y)中。通过解决下面的公式，求出的行。

  

 

 

图2:为什么在Sn−1驯良的字典学习?假设目标字典A0是正交的。左:大样本目标函数EX0[f(q)]。唯一的局部最小值的列A0及其底片。中心:相同的功能,可视化为高度高于飞机⊥1(a1是A0的第一列)。正确的:在最优正曲率的函数展示一个小区域,一个区域的大梯度,最后一个区域的方向远离a1是一个负曲率方向。

2.高维函数

  正交几何。采取。因为，仅仅是的旋转版本，比如。因此，我们会集中看这个情况。在的2n个对称部分，集中围绕信号基础向量，我们开展工作围绕对称部分作为一个例子。

  我们再次用到上次的投影方法，这次在赤道平面，这次可以正式的重设参数映射：

 

W是新的变量在并且是单位块。

3.一个二阶流形算法：黎曼信赖域算法

 

      切线空间和指数映射定义在球体上。

总结

  这是JohnWight 的最新研究成果，因为全是数学公式，也看的不是很明白，大体总结是求解尽量稀疏A0的过程，中间用到凸优化，低秩，高斯函数等。主要用三个方法去优化A0，介绍这三个优化方法，并在下面的文中推导这三个公式的可行性，让我认识到稀疏表示的优化是需要强大的数学功底的（岂敢望其项背），由于这三个方法的具体数学公式，没看的太明白只能大体介绍一下稀疏表示的基本原理，和文章我理解的主要公式，但并不是很全面，希望接下来的学习中，可以更加深入的了解这些内容。