2014年09月_yhdzw

11月 10月 09月 08月 07月 05月 04月 03月 02月

转载判别模型和生成模型

【摘要】 - 生成模型：无穷样本==》概率密度模型 = 产生模型==》预测 - 判别模型：有限样本==》判别函数 = 预测模型==》预测【简介】简单的说，假设o是观察值，q是模型。如果对P(o|q)建模，就是Generative模型。其基本思想是首先建立样本的概率密度模型，再利用模型进行推理预测。要求已知样本无穷或尽可能的大限制。这种方法一般建立在统计力学和

2014-09-22 10:26:38 488

转载迭代阈值缩减算法（Iterative Shrinkage-Thresholding Method）

l1-最小化问题在最近几年一直是信号处理与优化领域的热点话题。min||x||1 subject to||b−Ax||2ϵIST(Iterative Shrinkage-Thresholding Method) 将上述优化问题，当做如下目标函数的的一个特殊形式来处理：minxF(x)=f(x)+λg(x)式中f

2014-09-21 11:39:46 10710

转载 L1范数优化算法集合

转自：http://www.eecs.berkeley.edu/~yang/software/l1benchmark/MATLAB Benchmark ScriptsL-1 Benchmark Package: http://www.eecs.berkeley.edu/~yang/software/l1benchmark/l1benchmark.zip

2014-09-21 11:38:31 8093

转载 MP算法与OMP算法

稀疏编码的一般最优化公式为：其中的零范数为非凸优化。那么如何解这么一个非凸优化问题呢？其中一个常用的解法就是MP算法。MP算法MP算法是一种贪心算法（greedy），每次迭代选取与当前样本残差最接近的原子，直至残差满足一定条件。求解方法首先解决两个问题，怎么定义“最接近原子”，怎么计算残差？选择

2014-09-16 22:34:10 10183 2

转载损失函数(loss function)

通常而言，损失函数由损失项(loss term)和正则项(regularization term)组成。发现一份不错的介绍资料：http://www.ics.uci.edu/~dramanan/teaching/ics273a_winter08/lectures/lecture14.pdf （题名“Loss functions; a unifying view”）。

2014-09-15 13:32:49 18796 1

转载凸优化和非凸优化

数学中最优化问题的一般表述是求取，使，其中是n维向量，是的可行域，是上的实值函数。凸优化问题是指是闭合的凸集且是上的凸函数的最优化问题，这两个条件任一不满足则该问题即为非凸的最优化问题。其中，是凸集是指对集合中的任意两点，有，即任意两点的连线段都在集合内，直观上就是集合不会像下图那样有“凹下去”的部分。至于闭合的凸集，则涉及到闭集的定义，而闭集的定义又基于开集，比较抽象，不赘述，这里

2014-09-15 09:31:48 15491 2

转载 Deep learning：二十七(Sparse coding中关于矩阵的范数求导)

前言：　　由于在sparse coding模型中求系统代价函数偏导数时需要用到矩阵的范数求导，这在其它模型中应该也很常见，比如说对一个矩阵内的元素值进行惩罚，使其值不能过大，则可以使用F范数（下面将介绍）约束，查阅了下矩阵范数求导的相关资料，本节就简单介绍下。　　首先，网络上有大把的人把2范数和F=2时的范数混为一谈，或者说把矩阵p范数和诱导p范数混淆了（也有可能是因为各个版本书所

2014-09-10 21:15:19 1527 1

转载 PCA matlab实现

转载： http://blog.csdn.net/ice110956/article/details/20936351PCA 流程如下：1、去均值 2、计算协方差矩阵 3、计算协方差特征值和特征向量 4、降序排列特征值选取较大的特征值,选择相应的特征值和特征向量以下按照步骤编写matlab代码。1.去均值Matlab函数mean可得：如下Mean

2014-09-04 14:42:08 771