carrierlxksuper的专栏

上一篇谈了矩阵分解中比较简单的三角分解，这里介绍另外两种分解：矩阵的谱分解和LR分解。矩阵的谱是指矩阵所有特征值的集合。因此，矩阵的谱分解就是利用矩阵的特征值来对矩阵分解。利用矩阵对角化可以得到：任何一个正规矩阵A（一个矩阵满足本身与转置的乘积等于转置与本身乘积的矩阵就叫正规矩阵，比如常见的对称阵，正交阵）， UT*A*U=diag（x1,x2,....）。这里U=[u1，u2.....]为正

今天讲讲struck，最近感觉tracking的model进步是日新月异，比如大牛Dr. Chao Ma,最近在他的homepagehttps://sites.google.com/site/chaoma99/上传了他的2014年CVPR的code：long term correlation filter的codes。理论清晰，效果超好，这才是top research.

今天读了今年cvpr上TAYLOR和Ranzato分别关于unsupervised learing

能量模型(EBM)、限制波尔兹曼机(RBM)原文链接：在介绍EBM(Energy Based Model)和BM(Boltzmann Machines)之前，我们先来了解一下产生式模型（generative model）和判别式模型(discriminative model)的区别产生式模型：用来估计联合概率P(x,y), 因此可以根据联合概率来生成样本

最近在看fisher vector的相关知识，fisher vector被广泛应用到了

信息几何在wiki的定义是：

文章出处：http://doc.okbase.net/u010944555/archive/64425.html

文章出处：【Machine Learning实验1】batch gradient descent（批量梯度下降） 和 stochastic gradient descent（随机梯度下降）上面是作者的blog，代码采用的是C的，我这里采用了比较简便的matlab方式。批量梯度下降是一种对参数的update进行累积，然后批量更新的一种方式。用于在已知整个训练集时的一种训练方式

最近阅读了一篇无觅网上的文章，题目叫"Neural network ,mani"

昨天没去听stanford Stephen 教授（convex optimization 教材的作者）的convex的第一课，甚是可惜。好在他昨天主要讲的是basic  concepts 以及framework of convex optimizattion。今天将的是他的拿手好戏，报告的名字就叫做：Distributed Optimization via alternating directio

共轭梯度法作为优化算法中常见算法，在很多基于梯度优化的机器学习算法中可以见到它的身影，比如在稀疏编码（sparsenet）中。这里结合着清华大学出版社出版的陈宝林的最优化对于共轭梯度的介绍谈谈我的认识。       事情的起源是我最近在思考一个简单的函数:

矩阵分解 (matrix decomposition, factorization)是将矩阵拆解为数个矩阵的乘积，可分为三角分解、满秩分解、Jordan分解和SVD（奇异值）分解等，常见的有三种：1)三角分解法 (Triangular Factorization)，2)QR 分解法 (QR Factorization)，3)奇异值分解法 (Singular Value Decompostion

转载出处：http://www.zhizhihu.com/html/y2013/4414.html微博上看到的，由于之前面试遇到过，答得不好，所以还是碰到就好好看看。@学生古什么是损失，什么是正则；什么是L1，什么是L2。一会儿是L1正则，一会儿是L2损失。http://t.cn/8k5xI8V总结：L1或者L2就是某种范数（线性代数和矩阵的基本概念），既可以用于损失又

转载出处：http://hi.baidu.com/windey1988/item/de022800dfab8018acdc7066                    http://blog.csdn.net/jwh_bupt/article/details/9837555      最近阅读了关于Yu Kai，Yang Jianchao合著的文章，包括前面的博客中的那篇，一共三篇。

上次谈了雅克比矩阵以及雅克比行列式，这次我们继续讨论。既然是机器学习下面来谈论，于是就要结合着机器学习的背景来谈论了。     这里涉及到的是无监督学习下的特征学习的问题，主要是参考了文章：Contractive Auto-Encoders: Explicit Invariance During Feature Extraction。这个篇文章对于auto encoder进行了改进，提出了对原

最近又重新阅读了Yang Jianchao的文章“Linear Spatial Pyramid Matching Using Sparse Coding for Image Classification”，浅谈自己的理解。       文章有三个创新点：1，将稀疏编码sparse coding引入到了BOF model中。2，在pooling这一步采用max pooling，由于在特征提取的时

最近接触了一点雅克比的东西，以前学习雅克比矩阵和雅克比行列式是在高数上，就知道个二重积分的时候可以用一下，其他的真没遇到过。最近在学习随机过程，在涉及到随机变量转化求解概率密度函数时，猛然冒出雅克比行列式让我刮目相看，于是开始再次学习这些东西。   首先介绍定义，雅克比矩阵是一阶偏导数以一定的方式排列成的矩阵，当其实方阵时，行列式称为雅克比行列式。设有m个n元函数组成的函数组：，称之为函数

这次讲一下奇异值分解（SVD），首先说明纯粹是抛砖引玉之举，毕竟我刚学习了矩阵理论，对于大名鼎鼎的SVD可谓知之甚少。首先推荐几篇paper讲SVD的：《A Singularly Valuable Decomposition The SVD of a Matrix》，《Sketched SVD Recovering spectral features from》，《The extraodina

首先安利一个blog，https://www.cnblogs.com/wangxiaocvpr/这个blog写的内容涵盖计算机视觉与深度学习的很多方面，作者update的很快。这篇文章（NIPS2016）是基于Generative Adversarial Networks （GAN）而来的，GAN有两个部分，第一部分是生成器Generator，第二部分是判别器Discriminator。G