稀疏表示
跬步达千里
深度学习 图像处理 tensorflow caffe python C++
展开
-
正则化方法:L1和L2 regularization、数据集扩增、dropout
正则化方法:防止过拟合,提高泛化能力在训练数据不够多时,或者overtraining时,常常会导致overfitting(过拟合)。其直观的表现如下图所示,随着训练过程的进行,模型复杂度增加,在training data上的error渐渐减小,但是在验证集上的error却反而渐渐增大——因为训练出来的网络过拟合了训练集,对训练集外的数据却不work。为了防止overfittin转载 2016-07-11 11:54:44 · 1306 阅读 · 0 评论 -
无监督特征学习——Unsupervised feature learning and deep learning
无监督学习近年来很热,先后应用于computer vision, audio classification和 NLP等问题,通过机器进行无监督学习feature得到的结果,其accuracy大多明显优于其他方法进行training。本文将主要针对Andrew的unsupervised learning,结合他的视频:unsupervised feature learning by转载 2016-07-09 18:03:28 · 897 阅读 · 0 评论 -
稀疏编码中的正交匹配追踪(OMP)与代码
最近在看有关匹配追踪与相关优化的文章,发现了这篇http://blog.csdn.net/scucj/article/details/7467955,感觉作者写得很不错,这里也再写写自己的理解。文中有Matlab的代码,为了方便以后的使用,我顺便写了一个C++版本的,方便与OpenCV配合。为了方便理解,我将所有向量都表示为平面二维向量,待用原子表征的目标向量y,用红色表示转载 2017-09-30 17:28:39 · 1170 阅读 · 0 评论 -
SVD在稀疏表示中的应用
SVD:singular value decomposition奇异值分解在认识SVD之前,先来学习两个相关的概念:正交矩阵和酉矩阵。如果,则n阶实矩阵A称为正交矩阵。而酉矩阵是正交矩阵往复数域上的推广。 判断正交矩阵和酉矩阵的充分必要条件是:。或者说正交矩阵和酉矩阵的共轭转置和它的逆矩阵相等。对任意矩阵,都能被奇异值分解为其中是的正交矩阵,是的正交矩阵,是由r个沿对角线从大到小排列的奇异值组成的原创 2017-10-18 16:00:50 · 3187 阅读 · 0 评论 -
L0、L1、L2、Elastic Net正则项
先介绍下各自的用处: L0范数:就是指矩阵中非零元素的个数,很显然,在损失函数后面加上L0正则项就能够得到稀疏解,但是L0范数很难求解,是一个NP问题,因此转为求解相对容易的L1范数(L1是L0范数的最优凸近似) L1范数:矩阵中所有元素的绝对值的和。损失函数后面加上L1正则项就成了著名的Lasso问题(Least Absolute Shrinkage and Selection Op原创 2016-07-11 18:03:31 · 9007 阅读 · 0 评论 -
核稀疏表示公式推导
本文是对文章kernel sparse representation with local patterns for face recognition中2.2节公式的推导 在优化求解中,很多人可能都会见过这个公式: 而根据正则项的不同,l1正则项,l2正则项,可以进行细分: http://blog.csdn.net/liyuan123zhouhui/article/details/51原创 2017-10-20 09:29:55 · 2173 阅读 · 0 评论 -
拉格朗日乘子法及KKT条件
拉格朗日乘子的引入: 1 对于求极值和有等式约束的优化问题,例如: 假设有自变量x和y,给定约束条件g(x,y)=c,要求f(x,y)在约束g下的极值。我们可以画出f的等高线图,如下图。此时,约束g=c由于只有一个自由度,因此也是图中的一条曲线(红色曲线所示)。显然地,当约束曲线g=c与某一条等高线f=d1相切时,函数f取得极值。两曲线相切等价于两曲线在切点处拥有共线的法向量。因此可得函数f(x原创 2017-10-25 17:53:28 · 1619 阅读 · 0 评论