Rachel Zhang的专栏

【摘自：http://blog.sina.com.cn/wuyuzaizai】压缩传感不是万能的， 虽然它是信号和图像处理领域最热门的研究对象 但是它不可能解决所有问题 就像中科院李老师的话：“压缩感知根植于数学理论，它给目前国内浮躁的学术环境提了一个警钟！因为只有很好地钻研它的基本理论和方法，才能将其有效地应用在所关心的问题中；否则它只能是一剂春药，一种无法名状的春药！”

无监督学习近年来很热，先后应用于computer vision, audio classification和 NLP等问题，通过机器进行无监督学习feature得到的结果，其accuracy大多明显优于其他方法进行training。本文将主要针对Andrew的unsupervised learning，结合他的视频：unsupervised feature learning by Andrew N

上一篇《初识压缩感知Compressive Sensing》中我们已经讲过了压缩感知的作用和基本想法，涉及的领域，本文通过学习陶哲轩对compressive sensing（CS）的课程，对压缩感知做进一步理解，针对其原理做出讲解。本文较为理论性，代码请参考《“压缩感知”之“Hello world”》。Keywords: 压缩感知 compressive sensing, 稀疏（Sparsity）

K-SVDRachel Zhang 1. k-SVD introduction1.     K-SVD usage:Design/Learn a dictionary adaptively to betterfit the model and achieve sparse signal representations.2.     Main Problem:Y = DXWhere Y∈R(n*N)

上一篇《压缩感知进阶——有关稀疏矩阵》中我们已经讲过了压缩感知原理、应用领域、可行性以及恢复信号机制，后面有朋友陆续反应希望有一个CS版Helloworld，这里我就借用香港大学沙威大牛的一个程序在代码层面对CS做一讲解。Keywords: 压缩感知 compressive sensing, 稀疏（Sparsity）、不相关（Incoherence）、随机性（Randomness）先给出Code：

首先声明，MOD不是取模函数！MOD是字典学习和sparse coding的一种方法… 最近在看KSVD，其简化版就是MOD（method of directions）,这么说吧，KSVD和MOD的优化目标函数是相同的，MOD之所以可以称作KSVD的简化版是因为KSVD在MOD的基础上做了顺序更新列的优化。关于KSVD和MOD的理论知识请见下面我给出的一页note和referenc中的paper。

前面有几篇很有意思的文章分别介绍了压缩感知原理以及如何运用矩阵的稀疏性进行相关分析，这一篇文章中呢，我不提压缩感知原理，如果想看原理的朋友请看下面几篇文章：初识压缩感知Compressive Sensing中国压缩传感资源（China Compressive Sensing Resources）压缩感知进阶——有关稀疏矩阵“压缩感知” 之 “Hello World”那么我这里讲什么呢？由于最近很多

很久没有写学习笔记了，年初先后忙考试，忙课程，改作业，回家刚安定下来，读了大神上学期给的paper，这几天折腾数学的感觉很好，就在这里和大家一起分享一下，希望能够有所收获。响应了Jeffrey的建议，强制自己把笔记做成英文的，可能给大家带来阅读上的不便，希望大家理解，多读英文的东西总没坏处的。这里感谢大神和我一起在本文手稿部分推了一些大牛的“ easily achieved”stuff... 本文

本文介绍JPEG压缩技术的原理，对于DCT变换、Zig-Zag扫描和Huffman编码，给出一个较为清晰的框架。1. JPEG压缩的编解码互逆过程：编码解码2. 具体过程：（这里仅以编码为例，解码过程为其逆过程）         A. 将原始图像分为8*8的小块, 每个block里有64pixels：         B. 将图像中每个8*8的block进行DCT变换：数据压缩中有很多变换，比如K

Karhunen-Loeve Transform（KLT）是一种数据变换与分析方式，常用于数据压缩和PCA降维。1. KLT是什么变换，KLT的目的是什么？KLT是对向量x做的一个正交变换y=Φx，目的是变换到y后去除数据相关性。PS：其中，Φ是x特征向量组成的矩阵，满足ΦTΦ=I，当x都是实数时，Φ是正交矩阵。2. 为什么说KLT可以去除数

压缩感知是近年来极为热门的研究前沿，在若干应用领域中都引起瞩目。最近粗浅地看了这方面一些研究，对于Compressive Sensing有了初步理解，在此分享一些资料与精华。本文针对陶哲轩和Emmanuel Candes上次到北京的讲座中对压缩感知的讲解进行讲解，让大家能够对这个新兴领域有一个初步概念。compressive sensing（CS） 又称 compressived se

LZW和哈夫曼编码一样，是无损压缩中的一种。该算法通过建立字典，实现字符重用与编码，适用于source中重复率很高的文本压缩。本文首先讲下LZW的编解码原理，然后给出LZW的实现code。*********************原理*********************编码：编码0-255用来存储Ascii码为[0,255]的字符，放在字典里。编码从256开始，将

香农-范诺算法（Shannon-Fano coding）原理和Huffman-Tree一样，Shannon-Fano coding也是用一棵二叉树对字符进行编码。但在实际操作中呢，Shannon-Fano却没有大用处，这是由于它与Huffman coding相比，编码效率较低的结果（或者说香农-范诺算法的编码平均码字较大）。但是它的基本思路我们还是可以参考下的。

哈夫曼算法原理Wikipedia上面说的很清楚了，这里我就不再赘述，直接贴过来了。1952年, David A. Huffman提出了一个不同的算法，这个算法可以为任何的可能性提供出一个理想的树。香农-范诺编码（Shanno-Fano）是从树的根节点到叶子节点所进行的的编码，哈夫曼编码算法却是从相反的方向，暨从叶子节点到根节点的方向编码的。为每个符号建立一个叶子节点

本文为Letters to nature上文章Learning the parts of objects by non-negativematrix factorization的读书笔记，针对如何基于NMF在神经网络中学习一个object的各层part做出理论上的分析，并在人脸part学习和text语义特征学习上做了相应实验。本文不含如何去解NMF，只给出非负约束下矩阵分解的结果。 Learnin