压缩感知和深度学习的区别

本质上是两个问题。如果一定要找联系,两者都涉及数据的稀疏表达。


压缩感知解决“逆问题”:Ax=b。对于欠定的线性系统,如果已知解具有稀疏性(sparsity),稀疏性可以作为约束或者正则项,提供额外的先验信息。线性逆问题和稀疏性在这类问题中的应用有相对完整的理论体系,楼上 yang liu推荐的 Michael Elad的书是很好的入门教材。

另一类关系密切的问题是低秩矩阵恢复(low-rank matrix recovery),使用low-rank作为先验知识,解关于矩阵的线性逆问题,发展出一套理论。

压缩感知的思想被应用在了更多的领域,比如非线性逆问题。相关的理论正在快速的发展,但是应用已经领先一步。我个人感兴趣的是双线性逆问题(bilinear inverse problem),比如盲反卷积(blind deconvolution)、矩阵分解(matrix factorization)。

在应用压缩感知的过程中,我们发现大部分信号本身并不是稀疏的(即在自然基下的表达不是稀疏的)。但是经过适当的线性变换后是稀疏的(即在我们选择的另一组基(basis)或者框架(frame,我不知道如何翻译)下是稀疏的)。比如谐波提取(harmonic retrieval)中,时域信号不稀疏,但在傅里叶域信号是稀疏的。再比如大部分自然图像不是稀疏的,但经过DCT(离散余先变换)或者wavelet transform(小波变换),可以得到稀疏的表达。一个一度非常热门的研究课题是字典学习(Dictionary Learning)和变换学习(Transform Learning),通过大量的信号实例,自适应地学习稀疏性表达。


深度学习是机器学习的一种手段,参见楼上Stephen Wang的解释。深度学习中通常都涉及非线性环节。这里数据表达的目的通常不再是数据恢复(recovery),而是分类(classification)等机器学习的任务。


下面是我理解的区别:
在信号处理中的稀疏表达学习(sparse representation learning)侧重对信号建模,即目标是获取原信号的一个忠实的表达(faithful representation)。我们通常需要变换和逆变换,来实现信号的重建(reconstruction)。即使在不需要重建的问题中,我们也需要这种表达能够很好地区分有意义的信号和无意义的噪声(discriminate signal against noise)。所以这类变换通常有很多良好的性质(可逆、很好的条件数(condition numer)等)。
深度学习或者更广泛的机器学习中,数据表达的目标因问题而异,但是通常我们都不需要这种表达过程的可逆性。比如在分类问题中,我们的目标是把数据变换到有“意义”的空间,实现不同类别信号的分离。这种变换可以是线性或非线性的,可以是可逆或不可逆的,可以变换到稀疏的表达或其他有意义的便于分类的表达。

  • 1
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值